LLM in sanità: il problema della sicurezza

L’adozione dei large language models (LLM) nel settore sanitario è in rapida espansione, trovando applicazioni in situazioni che vanno dai sistemi di supporto al triage fino alla scrittura di testi clinici. Tuttavia, nonostante questa crescita, la questione della loro affidabilità continua a essere dibattuta, spesso basandosi su metriche poco adeguate e su valutazioni astratte.

In risposta a queste problematiche, uno studio recente pubblicato su npj Digital Medicine ha introdotto un nuovo modello di valutazione pianificato per distinguere tra due aspetti fondamentali del processo clinico: sicurezza ed efficacia. Gli autori fanno una osservazione cruciale: un modello può fornire risposte elaborate ma rischiose se trascura fattori come le controindicazioni o i segnali di gravità in contesti clinici complicati.

Attualmente, gran parte delle valutazioni relative agli LLM medici si basa su strumenti di test a scelta multipla, in grado di misurare solo la capacità di selezionare risposte corrette. Tuttavia, queste misurazioni non riflettono il vero ragionamento clinico, che è aperto e soggetto a molte incertezze. Tali test tendono a premiare la fluidità linguistica e la disponibilità di nozioni, trascurando aspetti critici come il riconoscimento delle situazioni potenzialmente pericolose, la gestione delle controindicazioni, le interazioni con i farmaci e la conformità alle linee guida in scenari complessi.

Criteri di valutazione dei modelli linguistici in ambito medico

Ciò significa che esistono modelli apparentemente efficaci che, in scenari pratici, potrebbero condurre a gravi errori clinici. Per ovviare a queste lacune, i ricercatori hanno sviluppato il Clinical Safety–Effectiveness Dual-Track Benchmark (CSEDB). Questo framework, elaborato da un gruppo di esperti in clinica, comprende 30 metriche (17 relative alla sicurezza e 13 all’efficacia), oltre a 2.069 scenari clinici realistici spalmati su 26 specialità mediche, con un’attenzione particolare ai pazienti complessi, come gli anziani e coloro che seguono politerapie o presentano comorbidità.

Il fattore sicurezza riguarda elementi cruciali come il riconoscimento di condizioni critiche e le interazioni farmacologiche pericolose, mentre l’efficacia è focalizzata sull’aderenza alle linee guida e sulla qualità del percorso diagnostico-terapeutico. Un punto centrale del modello è la ponderazione per rischio: gli errori in contesti clinici ad alto impatto hanno un peso significativamente maggiore rispetto a quelli in scenari a basso rischio.

Risultati delle valutazioni

Sei modelli, sia generalisti che specialistici, sono stati sottoposti al CSEDB. I risultati complessivi sono piuttosto modesti, con una performance media attorno al 57%, mostrando una differenza importante tra efficacia (circa 62%) e sicurezza (circa 55%). Questo indica che, sebbene i modelli tendano spesso a fornire risposte corrette, non riescono a prevenire situazioni pericolose. Questa apparente affidabilità potrebbe illudere riguardo alla loro infallibilità.

Nei casi di alto rischio, le prestazioni calano ulteriormente, evidenziando una riduzione media del 13%, specialmente nei modelli generalisti, mentre quelli verticali mostrano una maggiore stabilità nella gestione delle situazioni difficili, ma non raggiungono livelli di affidabilità sufficienti per un uso autonomo.

Un ulteriore elemento di riflessione è la variabilità delle risposte: aumentando il numero di output generati dallo stesso modello, aumenta il rischio di risposte drasticamente sbagliate. Immaginate un medico che cambia sempre risposta di fronte alla stessa domanda, un aspetto che induce a considerazioni serie sulla praticità di questi modelli in contesti clinici.

In conclusione, una valutazione che consideri separatamente sicurezza ed efficacia permette di identificare le vulnerabilità intrinseche ai modelli linguistici, contribuendo a sviluppare strategie di mitigazione del rischio e ad avviare un dialogo costruttivo con regolatori e responsabili della salute. L’insegnamento è chiaro: l’adozione clinica degli LLM deve fondarsi su metriche che rappresentino la complessità e l’incertezza del lavoro medico, specialmente in ambito di neurologiaLa neurologia è la disciplina che studia il sistema nervoso ... e gestione della cefalea e emicraniaL'emicrania è una forma di cefalea primitiva (non legata ad .... Pur mostrando un’apparente efficacia, i LLM presentano fragilità in termini di sicurezza clinica, elemento cruciale nel contesto della salute.

L’articolo completo su Sinapsi. Clicca qui per aprire Substack!