Medicine Advances|美国托马斯杰弗森大学最新研究成果：人工智能在骨科教育中的应用

人工智能在骨科教育中的应用：ChatGPT 与 Bing AI 骨科在职培训考试表现对比分析

文章亮点与精华

本研究评估了ChatGPT 3.5和Bing AI GPT 4.0在骨科在职培训考试中的表现，结果显示Bing AI GPT 4.0的平均得分为80.0%，显著高于ChatGPT 3.5的55.0%和住院医师的平均成绩62.1%。

统计分析表明，各组之间的得分差异具有显著性（p< 0.001）。

精华内容

本研究评估了生成人工智能 (AI) 模型在骨科在职培训考试 (OITE) 中的表现，OITE 是美国骨科住院医师项目每年进行的一项考试。

ChatGPT 3.5 和 Bing AI GPT 4.0 的评估基于美国骨科医师学会 OITE 在线问题库中 5 年（2018-2022 年）的标准化多项选择题集。每个 AI 系统总共被提出 1165 个问题。使用最新版本的 ChatGPT 3.5 和 Bing AI GPT 4.0 对两个系统的性能进行了标准化。从年度 OITE 技术报告中获取的住院医师分数的历史数据用作比较。

研究结果：在五个数据集中，ChatGPT 3.5 在 OITE 问题上的平均得分为 55.0%。Bing AI GPT 4.0 得分更高，平均得分为 80.0%。相比之下，国家认证项目中骨科住院医师的平均成绩为 62.1%。Bing AI GPT 4.0 的表现优于 ChatGPT 3.5 和研究生医学教育认证委员会的考生，方差分析显示各组之间的p < 0.001。最佳表现是 Bing AI GPT 4.0 在 OITE 2020 上的表现。