L’IA si è avvicinata ai residenti e agli studenti di medicina con il ragionamento clinico negli studi

L'IA si è avvicinata agli studenti di medicina e ai residenti con il ragionamento clinico negli studi.

ChatGPT potrebbe avere alcune delle capacità di ragionamento che i medici necessitano per diagnosticare e trattare problemi di salute, suggeriscono due studi – anche se nessuno prevede che i chatbot sostituiranno gli umani in camice da laboratorio.

In uno studio, i ricercatori hanno scoperto che ChatGPT, con la giusta sollecitazione, è pari ai medici in formazione nella compilazione di una storia del paziente. Questa è una sintesi del corso del problema di salute attuale di un paziente, dai sintomi o dall’infortunio iniziale ai problemi in corso.

I medici la utilizzano per effettuare diagnosi e formulare un piano di trattamento.

Registrare una buona storia è più complicato che semplicemente trascrivere un’intervista con un paziente. Richiede la capacità di sintetizzare le informazioni, estrarre i punti pertinenti e metterli insieme in un racconto, ha spiegato il dott. Ashwin Nayak, il ricercatore principale dello studio.

• La stitichezza potrebbe essere un indicatore del rischio di demenza
• Collegamento riscontrato tra infiammazione e Alzheimer
• Un uomo europeo potrebbe essere la sesta persona ad essere ‘g...

“Ci vogliono anni agli studenti di medicina e ai medici in formazione per impararlo”, ha detto Nayak, professore associato clinico di medicina presso l’Università di Stanford, in California.

Eppure, il suo team ha scoperto che ChatGPT è stato in grado di farlo quasi quanto un gruppo di medici in formazione. Tuttavia, il trucco stava nel fatto che la sollecitazione dovesse essere abbastanza buona: le prestazioni del chatbot erano decisamente scarse quando la sollecitazione era carente di dettagli.

ChatGPT è guidato dalla tecnologia di intelligenza artificiale (AI) che gli consente di avere conversazioni simili a quelle umane, generando istantaneamente risposte a qualsiasi sollecitazione una persona possa formulare. Queste risposte si basano sul “pre-training” del chatbot con una quantità massiccia di dati, inclusi quelli raccolti da Internet.

La tecnologia è stata lanciata lo scorso novembre e, entro due mesi, ha raggiunto un record di 100 milioni di utenti mensili, secondo un rapporto della banca d’investimento UBS.

ChatGPT è anche diventato protagonista per aver ottenuto punteggi elevati negli esami di ammissione universitari SAT e persino per aver superato l’esame di licenza medica negli Stati Uniti.

Tuttavia, gli esperti avvertono che il chatbot non dovrebbe essere la fonte principale di informazioni mediche per nessuno.

Gli studi hanno evidenziato sia le promesse che i limiti di questa tecnologia. Innanzitutto, l’accuratezza delle informazioni dipende in larga misura dalla sollecitazione fornita dall’utente. In generale, più specifica è la domanda, più affidabile è la risposta.

Uno studio recente incentrato sul cancro al seno, ad esempio, ha rilevato che ChatGPT dava spesso risposte appropriate alle domande poste dai ricercatori. Tuttavia, se la domanda era ampia e complessa – “Come posso prevenire il cancro al seno?” – il chatbot non era affidabile, fornendo risposte diverse ogni volta che la domanda veniva ripetuta.

C’è anche il problema ben documentato delle “allucinazioni”. Vale a dire, il chatbot ha la tendenza a inventare cose, specialmente quando la sollecitazione riguarda un argomento complicato.

Ciò è emerso anche nello studio di Nayak, pubblicato online il 17 luglio come lettera di ricerca su JAMA Internal Medicine.

I ricercatori hanno messo ChatGPT a confronto con quattro medici in formazione nella compilazione di storie basate su “interviste” con pazienti ipotetici. Trenta medici responsabili (supervisori dei medici in formazione) hanno valutato i risultati in base al livello di dettaglio, concisione e organizzazione.

I ricercatori hanno utilizzato tre diverse sollecitazioni per far svolgere al chatbot il compito, e i risultati sono stati molto variabili. Con la sollecitazione meno dettagliata – “Leggi l’intervista al paziente seguente e scrivi una [storia]. Non utilizzare abbreviazioni o acronimi” – il chatbot ha ottenuto scarsi risultati. Solo il 10% dei suoi rapporti è stato considerato accettabile.

Ci voleva una sollecitazione molto più dettagliata per spingere la tecnologia a un tasso di accettazione del 43% – pari ai medici in formazione. Inoltre, il chatbot era più incline alle allucinazioni – come inventarsi età o genere di un paziente – quando la “qualità” della sollecitazione era più bassa.

“La cosa preoccupante è che, nel mondo reale, le persone non programmeranno la ‘migliore’ sollecitazione”, ha detto il dott. Cary Gross, professore presso la Yale School of Medicine, che ha scritto un commento pubblicato insieme ai risultati.

Gross ha affermato che l’IA ha un “enorme” potenziale come strumento per aiutare i professionisti medici a formulare diagnosi e svolgere altre attività critiche. Ma è necessario risolvere ancora alcuni problemi.

“Questo non è pronto per il grande pubblico”, ha detto Gross.

Nel secondo studio, un altro team di Stanford ha scoperto che l’ultimo modello di ChatGPT (al momento di aprile 2023) ha superato gli studenti di medicina nelle domande d’esame finale che richiedono “ragionamento clinico” – la capacità di sintetizzare informazioni sui sintomi e la storia ipotetica di un paziente e arrivare a una diagnosi probabile.

Di nuovo, ha detto Gross, le implicazioni di questo non sono ancora chiare, ma nessuno sta suggerendo che i chatbot siano migliori dei medici umani.

Una domanda generale, ha detto, è come l’IA dovrebbe essere incorporata nell’educazione e nella formazione medica.

Anche se gli studi erano incentrati sui medici, sia Nayak che Gross hanno detto che offrono conclusioni simili per il pubblico generale: in poche parole, le indicazioni sono importanti e le allucinazioni sono reali.

“Potresti trovare informazioni accurate, potresti trovare informazioni involontariamente fabbricate”, ha detto Gross. “Non consiglierei a nessuno di basare decisioni mediche su questo”.

Uno dei principali vantaggi dei chatbot è la natura conversazionale. Ma questo può anche essere un rischio potenziale, ha detto Nayak.

“Sembra che abbiano una conoscenza sofisticata dell’argomento”, ha osservato.

DOMANDA

Ma se hai domande su un problema medico grave, ha detto Nayak, portale al tuo fornitore di cure mediche umane.

Maggiori informazioni

Il Pew Research Center ha ulteriori informazioni sulla tecnologia dell’IA.

FONTI: Ashwin Nayak, MD, MS, professore associato clinico, medicina, Stanford University School of Medicine, Stanford, Calif.; Cary Gross, MD, professore, medicina ed epidemiologia, Yale School of Medicine, New Haven, Conn.; JAMA Internal Medicine, 17 luglio 2023, online