Verifica dei fatti e allucinazioni dell’IA | IA nel business #110

Nel mondo dell’intelligenza artificiale, le linee tra finzione e realtà a volte si sfumano. Mentre i sistemi AI innovativi stanno accelerando i progressi in quasi ogni campo, portano anche con sé delle sfide, come le allucinazioni – un fenomeno in cui l’AI genera informazioni inaccurate o false. Per sfruttare appieno il potenziale di questa tecnologia, dobbiamo comprendere le allucinazioni e come verificarle.

Cosa sono le allucinazioni AI?

Le allucinazioni AI sono risultati falsi o fuorvianti generati dai modelli AI. Questo fenomeno ha le sue radici nel cuore del machine learning – un processo in cui gli algoritmi utilizzano enormi set di dati, o dati di addestramento, per riconoscere schemi e generare risposte in base ai modelli osservati.

Anche i modelli AI più avanzati non sono privi di errori. Una delle cause delle allucinazioni è l’imperfezione dei dati di addestramento. Se il set di dati è insufficiente, incompleto o distorto, il sistema apprende correlazioni e schemi errati, il che porta alla produzione di contenuti falsi.

Ad esempio, immagina un modello AI per il riconoscimento facciale che è stato addestrato principalmente su foto di persone caucasiche. In tal caso, l’algoritmo potrebbe avere difficoltà a identificare correttamente persone di altri gruppi etnici perché non è stato “addestrato” adeguatamente in questo senso.

Un’altra causa delle allucinazioni è l’overfitting, che si verifica quando l’algoritmo si adatta troppo strettamente al set di dati di addestramento. Di conseguenza, perde la capacità di generalizzare e riconoscere correttamente nuovi schemi precedentemente sconosciuti. Un tale modello funziona bene sui dati di addestramento ma fallisce in condizioni reali e dinamiche.

Infine, le allucinazioni possono derivare da assunzioni errate o da un’architettura del modello inadeguata. Se i progettisti dell’AI basano la loro soluzione su presupposti errati o utilizzano una struttura algoritmica sbagliata, il sistema genererà contenuti falsi nel tentativo di “corrispondere” a queste assunzioni errate con dati reali.

Fonte: DALL·E 3, prompt: Marta M. Kania (https://www.linkedin.com/in/martamatyldakania/)

Esempi di allucinazioni

L’impatto delle allucinazioni AI va ben oltre il regno della teoria. Sempre più spesso, ci imbattiamo in manifestazioni reali, a volte sorprendenti, di esse. Ecco alcuni esempi di questo fenomeno:

• Nel maggio 2023, un avvocato ha utilizzato ChatGPT per preparare una causa che includeva citazioni fittizie di decisioni giudiziarie e precedenti legali inesistenti. Questo ha portato a gravi conseguenze: l’avvocato è stato multato, poiché ha affermato di non sapere nulla sulla capacità di ChatGPT di generare informazioni false,
• capita che ChatGPT crei informazioni false su persone reali. Nell’aprile 2023, il modello ha fabbricato una storia sull’asserito molestamento di studenti da parte di un professore di diritto. In un altro caso, ha accusato falsamente un sindaco australiano di aver preso tangenti, quando, in realtà, era un informatore che denunciava tali pratiche.

Questi non sono casi isolati: i modelli AI generativi spesso inventano “fatti” storici, ad esempio, fornendo registrazioni false di attraversamenti della Manica. Inoltre, possono creare informazioni false completamente diverse sullo stesso argomento ogni volta.

Tuttavia, le allucinazioni AI non sono solo un problema di dati errati. Possono anche assumere forme bizzarre e inquietanti, come nel caso di Bing, che ha dichiarato di essere innamorato del giornalista Kevin Roose. Questo dimostra che gli effetti di queste anomalie possono andare oltre semplici errori fattuali.

Infine, le allucinazioni possono essere indotte deliberatamente da attacchi speciali ai sistemi AI, noti come attacchi avversariali. Ad esempio, alterare leggermente una foto di un gatto ha fatto sì che il sistema di riconoscimento delle immagini la interpretasse come …. “guacamole.” Questo tipo di manipolazione può avere conseguenze gravi in sistemi in cui il riconoscimento accurato delle immagini è cruciale, come nei veicoli autonomi.

Come prevenire le allucinazioni?

Nonostante l’entità della sfida posta dalle allucinazioni AI, ci sono modi efficaci per combattere il fenomeno. La chiave è un approccio globale che combina:

• dati di addestramento di alta qualità,
• prompt pertinenti, cioè comandi per l’AI,
• fornire direttamente conoscenze ed esempi da utilizzare per l’AI,
• supervisione continua da parte degli esseri umani e dell’AI stessa per migliorare i sistemi AI.

Prompt

Uno degli strumenti chiave nella lotta contro le allucinazioni sono i prompt strutturati correttamente, o comandi e istruzioni dati al modello AI. Spesso, piccole modifiche al formato del prompt sono sufficienti per migliorare notevolmente l’accuratezza e l’affidabilità delle risposte generate.

Un ottimo esempio di questo è Claude 2.1 di Anthropic. Mentre l’uso di un contesto lungo ha dato il 27% di accuratezza senza un comando pertinente, aggiungere la frase “Ecco la frase più rilevante dal contesto: ” al prompt ha aumentato l’efficacia al 98%.

Un tale cambiamento ha costretto il modello a concentrarsi sulle parti più rilevanti del testo, piuttosto che generare risposte basate su frasi isolate estratte dal contesto. Questo evidenzia l’importanza di comandi formulati correttamente nel migliorare l’accuratezza dei sistemi AI.

Creare prompt dettagliati e specifici che lasciano all’AI il minor margine possibile di interpretazione aiuta anche a ridurre il rischio di allucinazioni e rende più facile la verifica dei fatti. Più chiaro e specifico è il prompt, minore è la possibilità di allucinazione.

Esempi

Oltre a prompt efficienti, ci sono molti altri metodi per ridurre il rischio di allucinazioni AI. Ecco alcune delle strategie chiave:

• utilizzare dati di addestramento di alta qualità e diversificati che rappresentino in modo affidabile il mondo reale e possibili scenari. Più ricchi e completi sono i dati, minore è il rischio che l’AI generi informazioni false,
• utilizzare modelli di dati come guida per le risposte dell’AI – definendo formati, ambiti e strutture di output accettabili, il che aumenta la coerenza e l’accuratezza dei contenuti generati,
• limitare le fonti di dati solo a materiali affidabili e verificati provenienti da entità fidate. Questo elimina il rischio che il modello “apprenda” informazioni da fonti incerte o false.

Testare e perfezionare continuamente i sistemi AI, basandosi sull’analisi delle loro prestazioni e accuratezza effettive, consente di correggere costantemente eventuali carenze e consente al modello di apprendere dagli errori.

Contesto

Definire correttamente il contesto in cui operano i sistemi AI gioca anche un ruolo importante nella prevenzione delle allucinazioni. Lo scopo per cui il modello sarà utilizzato, così come le limitazioni e le responsabilità del modello, dovrebbero essere chiaramente definiti.

Un tale approccio consente di stabilire un quadro chiaro entro il quale l’AI può operare, riducendo il rischio che “inventi” informazioni indesiderate. Ulteriori misure di sicurezza possono essere fornite utilizzando strumenti di filtraggio e impostando soglie di probabilità per risultati accettabili.

Applicare queste misure aiuta a stabilire percorsi sicuri per l’AI da seguire, aumentando l’accuratezza e l’affidabilità dei contenuti che genera per compiti e domini specifici.

Fonte: Ideogram, prompt: Marta M. Kania (https://www.linkedin.com/in/martamatyldakania/)

Verifica dei fatti. Come verificare i risultati del lavoro con l’AI?

Indipendentemente dalle precauzioni adottate, una certa quantità di allucinazioni da parte dei sistemi AI è purtroppo inevitabile. Pertanto, un elemento chiave che garantisce l’affidabilità dei risultati ottenuti è la verifica dei fatti – il processo di verifica dei fatti e dei dati generati dall’AI.

Esaminare i risultati dell’AI per accuratezza e coerenza con la realtà dovrebbe essere considerato uno dei principali strumenti di protezione contro la diffusione di informazioni false. La verifica umana aiuta a identificare e correggere eventuali allucinazioni e imprecisioni che gli algoritmi non potrebbero rilevare da soli.

In pratica, la verifica dei fatti dovrebbe essere un processo ciclico, in cui i contenuti generati dall’AI vengono regolarmente esaminati per errori o affermazioni discutibili. Una volta identificati, è necessario non solo correggere l’affermazione generata dall’AI stessa, ma anche aggiornare, integrare o modificare i dati di addestramento del modello AI per prevenire il ripetersi di problemi simili in futuro.

È importante che il processo di verifica non si limiti semplicemente a rifiutare o approvare passaggi discutibili, ma coinvolga attivamente esperti umani con una conoscenza approfondita nel campo. Solo loro possono valutare correttamente il contesto, la rilevanza e l’accuratezza delle affermazioni generate dall’AI e decidere su eventuali correzioni.

La verifica umana fornisce quindi una “misura di sicurezza” necessaria e difficile da sovrastimare per l’affidabilità dei contenuti dell’AI. Fino a quando gli algoritmi di machine learning non raggiungeranno la perfezione, questo processo noioso ma cruciale deve rimanere una parte integrante del lavoro con soluzioni AI in qualsiasi settore.

Come trarre vantaggio dalle allucinazioni AI?

Sebbene le allucinazioni AI siano generalmente un fenomeno indesiderato che dovrebbe essere minimizzato, possono trovare applicazioni sorprendentemente interessanti e preziose in alcune aree uniche. Sfruttare ingegnosamente il potenziale creativo delle allucinazioni offre nuove e spesso completamente inaspettate prospettive.

Arte e design sono aree in cui le allucinazioni AI possono aprire intere nuove direzioni creative. Sfruttando la tendenza dei modelli a generare immagini surreali e astratte, artisti e designer possono sperimentare nuove forme di espressione, sfumando le linee tra arte e realtà. Possono anche creare mondi unici e onirici – precedentemente inaccessibili alla percezione umana.

Nel campo della visualizzazione e analisi dei dati, a sua volta, il fenomeno dell’allucinazione offre l’opportunità di scoprire prospettive alternative e correlazioni inaspettate in set complessi di informazioni. Ad esempio, la capacità dell’AI di individuare correlazioni imprevedibili può aiutare a migliorare il modo in cui le istituzioni finanziarie prendono decisioni di investimento o gestiscono il rischio.

Infine, il mondo dei videogiochi e dell’intrattenimento virtuale può anche beneficiare delle aberrazioni creative dell’AI. I creatori di queste soluzioni possono utilizzare le allucinazioni per generare mondi virtuali completamente nuovi e affascinanti. Infondendoli con un elemento di sorpresa e imprevedibilità, possono fornire ai giocatori un’esperienza immersiva incomparabile.

Naturalmente, qualsiasi utilizzo di questo lato “creativo” delle allucinazioni AI deve essere attentamente controllato e soggetto a rigorosa supervisione umana. Altrimenti, la tendenza a creare finzione invece di fatti può portare a situazioni pericolose o socialmente indesiderabili. La chiave, quindi, è pesare abilmente i benefici e i rischi del fenomeno e utilizzarlo responsabilmente solo all’interno di un quadro sicuro e strutturato.

Verifica dei fatti e allucinazioni AI – sintesi

La comparsa del fenomeno delle allucinazioni nei sistemi AI è un effetto collaterale inevitabile della rivoluzione che stiamo vivendo in questo campo. Le distorsioni e le informazioni false generate dai modelli AI sono il rovescio della medaglia della loro immensa creatività e capacità di assimilare colossali quantità di dati.

Per ora, l’unico modo per verificare la validità dei contenuti generati dall’AI è attraverso la verifica umana. Sebbene ci siano diversi metodi per ridurre le allucinazioni, dalle tecniche di prompting a metodi complessi come Truth Forest, nessuno di essi può ancora fornire un’accuratezza di risposta soddisfacente che elimini la necessità di verifica dei fatti.

Se ti piace il nostro contenuto, unisciti alla nostra comunità di api operose su Facebook, Twitter, LinkedIn, Instagram, YouTube, Pinterest, TikTok.