AI: il cigno nero e le camere dell’eco: futuri rischi e scenari
Una domanda molto pressante e attuale circola sempre più spesso nei talk su AI e scenari futuri: cosa accadrà a ChatGPT-{n} (ma anche a Bard, Mid Journey, Dall-E, Stable Diffusion, ….), una volta che i modelli linguistici di grandi dimensioni (*) contribuiranno a fornire gran parte della lingua trovata online?
(*) Un modello linguistico di grandi dimensioni (LLM Large Language Model) è un modello linguistico su larga scala che ha una notevole capacità di raggiungere la comprensione e la generazione del linguaggio per scopi generali.
Le AI generative permettono di creare testi e immagini che hanno invaso il web: la proliferazione di questi contenuti però, potrebbe creare un corto circuito su cui ricercatori di diversi paesi si stanno concentrando: il model collapse (vedi anche: The Curse of Recursion: Training on Generated Data Makes Models Forget )
Il crollo del modello (model collapse) è un processo degenerativo che colpisce generazioni di learned generative model, in cui i dati generati finiscono per inquinare il set di addestramento della prossima generazione di modelli (che quindi percepiscono erroneamente la realtà essendo addestrati su dati inquinati).
Si tratta di un processo degenerativo nell’apprendimento che rischia di autoalimentarsi e di conseguenza produrre risultati statisticamente più probabili e ridurre quelli meno probabili producendo un “appiattimento” che impoverisce enormemente la qualità della generazione dei contenuti.
vedi anche:
AI – Recursive Training of Generative Models
Modelli Generativi “autofagi” sono destinati al disturbo MAD (Model Autophagy Disorder)
Come evidenziato in un recente studio ( Self-Consuming Generative Models Go MAD ), senza dati reali sufficienti per ogni generazione, i futuri modelli generativi sono condannati al cosiddetto disturbo MAD (Model Autophagy Disorder), ovvero la loro qualità (misurata in termini di precisione) o la loro diversità (misurata in termini di richiamo) diminuiranno progressivamente e il degrado e gli artefatti generativi saranno amplificati.
Uno scenario apocalittico è che, se lasciato senza controllo per molte generazioni, il MAD potrebbe avvelenare la qualità dei dati e la diversità dell’intera Internet.
A parte ciò, sembra inevitabile che dall’autofagia dell’IA deriveranno conseguenze indesiderate finora invisibili anche nel breve termine
Un altro recente paper ( Nepotistically Trained Generative-AI Models Collapse ) evidenzia che “un sistema di intelligenza artificiale generativa da testo a immagine basato sulla diffusione è sorprendentemente vulnerabile all’avvelenamento dei dati con le sue stesse creazioni.”
L’importanza del cigno nero (black swan)
Preservare la capacità degli LLM di modellare eventi a bassa probabilità è essenziale per l’equità delle loro previsioni: anche gli eventi a bassa probabilità sono vitali per comprendere i sistemi complessi [vedi la teoria del cigno nero (black swan): Nassim Nicholas Taleb – Black Swans and the Domains of Statistics ]
«… classico problema dell’induzione: fare affermazioni audaci sull’ignoto basate su presunte proprietà del noto. Quindi (1) minore è la probabilità, maggiore è la dimensione del campione necessaria per poter fare inferenze, e minore è la probabilità, maggiore è l’errore relativo nella stima di questa probabilità. (2) Tuttavia in questi domini, quanto minore è la probabilità, tanto più consequenziale è l’impatto dell’errore di probabilità assoluta sui momenti della distribuzione.» [Nassim Nicholas Taleb]
La questione del “cigno nero” (black swan), un termine coniato da Nassim Nicholas Taleb per descrivere eventi rari, imprevedibili ma di grande impatto, è particolarmente rilevante nel contesto dei processi generativi dell’intelligenza artificiale (AI). Questi sistemi, che apprendono dalle distribuzioni statistiche dei dati, possono effettivamente tendere a trascurare o sottovalutare la possibilità di eventi altamente improbabili, come i cigni neri.
Inoltre basti pensare alle più grandi scoperte della scienza quanto sono state realizzate grazie al contributo di veri geni che poi erano tali in quanto uscivano dagli schemi e trovavano prospettive nuove mai pensate prima (l’esatto opposto dell’appiattimento nel processo degenerativo nell’apprendimento).
vedi anche AI – Il cigno nero: l’impatto dell’altamente improbabile
Le camere dell’eco (echo chamber)
L’apprendimento automatico è ampiamente utilizzato nei sistemi di raccomandazione dei prodotti. Le decisioni prese da questi sistemi possono influenzare le convinzioni e le preferenze degli utenti che a loro volta influenzano il feedback ricevuto dal sistema di apprendimento, creando così un ciclo di feedback.
Questo fenomeno può dar luogo alle cosiddette “camere dell’eco” o “bolle di filtro” che hanno implicazioni sugli utenti e sulla società.
Rilevante in questo senso il lavoro: Degenerate Feedback Loops in Recommender Systems )
vedi anche:
AI – “camere dell’eco” e le “bolle di filtro”
La competizione aiuterà l’AI a districarsi dai problemi o li amplificherà?
La domanda non è solo retorica: la forte competizione negli scenari introdotti dall’AI spinge i principali player a fornire soluzioni veloci e immediate, anche se al momento potrebbero essere a discapito della qualità.
Vedi l’adozione, forse in alcuni casi prematura, di chatbot nei motori di ricerca che da una parte forniscono grossi vantaggi agli utenti ma dall’altro potrebbero amplificare i processi degenerativi sia nella generazione di risposte che non sono aderenti alla realtà che nella formulazione di risposte che tendono ad escludere eventi poco probabili e a uniformarsi all’appiattimento generale.
Inoltre anche i fruitori dei servizi dell’AI possono concorrere (anche inconsapevolmente) alla degenerazione dei modelli, sia perché li utilizzano senza senso critico e, magari per pigrizia, a voler sforzarsi di produrre un contenuto basato, almeno essenzialmente, sul proprio contributo.
E’ sicuramente una sfida che si presenterà molto spesso nei futuri, se non già attuali, scenari ed è molto difficile prevedere come si potrà sviluppare, anche considerando che l’esplosione di AI a livelli di massa come si vede oggi è solo all’inizio e ci aspetta una crescita esponenziale degli sviluppi e, ahimè, dei potenziali problemi…
vedi anche: La competizione tra i principali Player aiuterà l’AI a districarsi dai problemi o li amplificherà?
