Microsofts AI-diagnosepanel verslaat artsen met 83% tegen 36% in wetenschappelijk onderzoek
Microsofts MAI-DxO diagnosticeerde 83% van complexe NEJM-gevallen, tegenover 36% voor artsen in een Science-studie, hoewel dit slechts een tekstuele benchmark betrof.
Het AI-diagnosesysteem MAI-DxO van Microsoft diagnosticeerde 83% van de complexe gevallen uit het New England Journal of Medicine correct in een peer-reviewed onderzoek in Science, tegenover 36% voor huisartsen die gebruik konden maken van referentie-instrumenten.
Het papier, “Sequentiële diagnose met taalmodellen”, De methode werd gepubliceerd op 22 oktober. In plaats van een AI een volledig casusverslag te geven, laat het systeem beginnen met een korte presentatie en zelf beslissen welke vragen te stellen en welke onderzoeken aan te vragen, net zoals een arts dat zou doen.
Hoe het werkt
Het team ontwikkelde een benchmark genaamd SDBench op basis van 304 klinisch-pathologische casussen uit het NEJM en 325 spoedeisendehulpopnames uit de MIMIC-IV-ED-dataset. Een "poortwachter" geeft alleen informatie vrij die een vraag of test realistisch gezien zou onthullen, en een "rechter" beoordeelt de uiteindelijke diagnose.
MAI-DxO, de Microsoft AI Diagnostic Orchestrator, werkt als een panel van virtuele artsenElk onderdeel stelt diagnoses voor, kiest vragen of tests en daagt de opkomende visie uit, terwijl het systeem de kosten van elke test afweegt.
De cijfers
In de NEJM-casussen behaalde het systeem dat op GPT-5 draaide een score van 83,2% bij een gemiddelde geschatte testkost van $5.431. Artsen behaalden gemiddeld 36,1% met zoek- en referentietools en 22,3% zonder. Zelfs de beste individuele arts, met 51,8%, werd zowel qua nauwkeurigheid als qua kosten overtroffen.
Bij meer routinematige spoedgevallen behaalde MAI-DxO een score 80.3% tegenover 46.8% voor artsen. Microsoft zegt dat de winst behouden bleef en zelfs toenam toen de evaluatie opnieuw werd uitgevoerd op GPT-5.5 zonder de orchestratie te wijzigen.
De voorbehouden
De auteurs zijn openhartig over de beperkingen. De tests waren uitsluitend gebaseerd op tekst, vergeleken de AI met individuele generalisten in plaats van specialisten of teams, en maten "diagnostisch redeneren onder geïdealiseerde informatieomstandigheden in plaats van prestaties aan het bed of patiëntresultaten". Alle auteurs zijn in dienst van Microsoft.
Daarom is de volgende stap zo belangrijk. Microsoft zegt dat het een prospectieve studie zal uitvoeren met het Beth Israel Deaconess Medical Center in Boston, waar patiënten rechtstreeks met het systeem interageren. Het bedrijf stelt ook de SDBench-code openbaar beschikbaar, zodat anderen andere modellen kunnen testen en de bevindingen kunnen betwisten.
Waarom het belangrijk is
Huisartsen zijn al zich wenden tot ChatGPT en andere hulpmiddelen voor diagnoses, en hulpmiddelen zoals die van de NHS Mia kankertool Onderzoek heeft aangetoond dat AI kan detecteren wat artsen over het hoofd zien. Een gestructureerd, kostenbewust panel zoals MAI-DxO wijst op een strengere versie daarvan, maar totdat het met echte patiënten is bewezen, is het een referentieresultaat, geen klinisch resultaat.
