Intelligenza artificiale, ChatGPT supera l'esame per diventare medico

Nello studio i ricercatori hanno simulato, con varie domande, il test United States Medical Licensing Examination (USMLE) necessario ad esercitare la professione medica negli Stati Uniti.
I ricercatori hanno prima codificato gli elementi dell'esame USMLE come domande a risposta aperta con suggerimenti introduttivi variabili. Hanno poi codificato queste informazioni in diverse domande a scelta multipla con solo una risposta esatta. In questo modo, hanno valutato l'accuratezza di ChatGPT per tutti e tre i passaggi USMLE, i passaggi 1, 2CK e 3
ChatGPT si è comportato con una precisione superiore al 50% in tutti e tre le fasi dell'esame USMLE, superando la soglia del 60% di superamento USMLE in alcuni dei tre passaggi del test.

È un'impresa straordinaria, perché nessun altro modello precedente ha raggiunto questo punto. Curiosamente, l'accuratezza di ChatGPT tendeva ad aumentare nelle tre fasi del test, essendo più bassa per il passaggio 1 e più alta per il passaggio 3, riflettendo quello che accade anche nel mondo reale, dove gli aspiranti medici hanno più difficoltà a superare la prima fase della prova.
ChatGPT ha ottenuto risultati migliori rispetto a PubMedGPT, un linguaggio di intelligenza artificiale simile addestrato esclusivamente nella letteratura biomedica che ha raggiunto un livello di superamento massimo pari al 50,3% dei casi.

ChatGPT, addestrato su contenuti generali non specifici, è risultato vantaggioso in quanto l'esposizione a contenuti clinici più generici e diretti al paziente risulta migliore e utile al superamento del test rispetto ad una formazione basata su articoli scientifici.

fonte: Doctor33