不久之後，列出ChatGPT不能完成的任務將比它能完成的任務更容易。我們已經分享關於ChatGPT通過法學院和商學院考試的報告，現在一項新的研究顯示，人工智能聊天機器人也能通過美國醫學執照考試（USMLE），盡管其分數並不特別令人印象深刻。
來自醫療保健創業公司Ansible Health的研究人員於2月9日在《PLOS數字健康》雜志上分享他們的研究結果。他們發現ChatGPT能夠在執照考試中取得"大約60%的通過門檻"。
正如該網站所解釋的，USMLE是美國醫生獲得醫療執照所必須參加的三步考試。除測試未來醫生的技能和醫學知識外，該考試還評估他們的價值觀和態度。
在排除基於圖像的問題後，研究人員向ChatGPT提供2022年6月USMLE考試中376個問題中的350個。在這三次考試中，ChatGPT的得分在52.4%和75%之間。在大多數年份，通過門檻約為60%。ChatGPT的得分也超過PubMedGPT--一種專門針對生物醫學文獻進行訓練的模型--其得分為50.8%。
作者說。"達到這個眾所周知的困難的專傢考試的合格分數，並且在沒有任何人類強化的情況下做到這一點，標志著臨床人工智能成熟的一個值得註意的裡程碑。"
在這項研究發表後不久，各州醫學委員會聯合會和國傢醫學考試委員會，這兩個USMLE的共同發起人，分享他們自己的一份聲明。他們指出，最近的兩項研究使用考試準備材料和練習題，而不是實際的USMLE考試題，因此，ChatGPT的成就隻能帶有一個星號。
......需要註意的是，ChatGPT所使用的練習題並不能代表考生所經歷的USMLE考試內容的全部深度和廣度。例如，某些問題類型沒有包括在研究中，如那些使用圖片、心音和基於計算機的臨床技能模擬。這意味著其他關鍵的考試結構在研究中沒有得到完整的體現。
"盡管目前沒有足夠的證據支持人工智能可以通過USMLE步驟考試的說法，但隨著技術的發展，我們不會驚訝地看到人工智能模型大幅提高其性能，如果利用得當，這些工具可以對評估的構建方式和學生的學習方式產生積極影響。"