Onderzoekers van Google lieten het programma het zogeheten USMLE-examen met meerkeuzevragen afleggen. Med-PaLM slaagde erin een score van 67,6 procent te behalen, schrijven ze in een studie die is gecontroleerd door vakgenoten en is gepubliceerd in het toonaangevende tijdschrift Nature. Daarmee zou het programma zijn geslaagd. „Med-PaLM presteert bemoedigend, maar blijft inferieur aan artsen”, aldus de auteurs.

Een verbeterde versie van Med-PaLM zou zelfs al een score van 86,5 procent hebben behaald volgens een ander onderzoek. Die studie kan evenwel niet door andere onderzoekers worden gecheckt. Google presenteerde zijn AI-tool voor het beantwoorden van medische vragen al in december. In tegenstelling tot de populaire chatbot ChatGPT, waarvan de ontwikkelaar OpenAI wordt ondersteund door Googles rivaal Microsoft, is Med-PaLM alleen niet vrijgegeven voor gebruik door het grote publiek.

James Davenport, een computerwetenschapper aan de Britse Universiteit van Bath die niet bij het onderzoek betrokken was, waarschuwt wel dat de uitkomsten van dit soort studies niet betekenen dat artsen binnenkort weleens vervangen zouden kunnen worden. Er is volgens hem een groot verschil tussen het beantwoorden van medische vragen en „daadwerkelijke geneeskunde”, waaronder het diagnosticeren en behandelen van echte gezondheidsproblemen.