AI – Il cigno nero: l’impatto dell’altamente improbabile – Genesi

La questione del “cigno nero” (Black Swan), un termine coniato da Nassim Nicholas Taleb per descrivere eventi rari, imprevedibili ma di grande impatto, è particolarmente rilevante nel contesto dei processi generativi dell’intelligenza artificiale (AI). Questi sistemi, che apprendono dalle distribuzioni statistiche dei dati, possono effettivamente tendere a trascurare o sottovalutare la possibilità di eventi altamente improbabili, come i cigni neri.

Tendenza alla Mediocrità Statistica

Bias di Conferma (*): I modelli AI, in particolare quelli basati sull’apprendimento automatico, tendono a generare risultati che sono consistenti con la maggior parte dei dati su cui sono stati addestrati. Questo può portare a un bias di conferma, dove gli eventi più frequenti sono sovrarappresentati rispetto a quelli meno probabili.

(*) In psicologia, il bias di conferma o pregiudizio di conferma (in inglese confirmation bias o confirmatory bias) è quel bias cognitivo umano per il quale le persone tendono a muoversi entro un ambito delimitato dalle loro convinzioni acquisite, tentando di ricondurre a tale ambito qualsiasi situazione si trovino a sperimentare ( Bias di conferma )

Sottovalutazione di Eventi Rari: A causa della loro rarità, gli eventi tipo cigno nero non sono ben rappresentati nei set di dati di addestramento, il che porta i modelli AI a sottovalutarne la probabilità o l’importanza.

Impatto dei Cigni Neri nella Modellazione AI

Incapacità di Prevedere l’Improvviso: Uno dei maggiori limiti dei modelli AI è l’incapacità di prevedere o gestire eventi che non sono mai stati osservati prima o che sono estremamente rari.

Rischi di Sovraottimizzazione: I modelli AI che sono eccessivamente ottimizzati per i dati esistenti possono essere particolarmente vulnerabili agli eventi cigno nero, poiché mancano della flessibilità per adattarsi a scenari inaspettati.

Possibili Soluzioni e Approcci

Incorporare la heavy-tailed distributions (Teoria della Coda Pesante (*)): Utilizzare approcci statistici che danno maggiore peso agli eventi di coda, cioè quelli rari ma ad alto impatto, potrebbe aiutare i modelli a considerare meglio la possibilità di cigni neri.

(*) Nella teoria della probabilità, le distribuzioni a coda pesante sono distribuzioni di probabilità le cui code non sono limitate in modo esponenziale: cioè hanno code più pesanti della distribuzione esponenziale ( Heavy-tailed distribution ).

Apprendimento Basato su Scenari: Allenare i modelli AI su una varietà di scenari, inclusi quelli improbabili o estremi, può aumentare la loro capacità di gestire eventi inattesi.

Monitoraggio Continuo e Aggiornamento dei Modelli: I sistemi AI dovrebbero essere continuamente monitorati e aggiornati per integrare nuove informazioni, compresi dati sugli eventi rari o inaspettati.

Conclusione

In definitiva, mentre la natura stessa degli eventi cigno nero li rende difficili da prevedere e gestire, è importante che gli sviluppatori di sistemi AI siano consapevoli di questa limitazione e adottino approcci proattivi per mitigarne gli effetti. L’incorporazione della possibilità di eventi altamente improbabili e la creazione di modelli più resilienti e adattabili possono aiutare a gestire il rischio associato a questi eventi imprevisti e ad alto impatto.

Appendice

Black Swans and the Domains of Statistics

Il testo seguente è interamente “virgolettato” in quanto è esclusivamente una serie di estratti del riferimento citato di Nassim Nicholas Taleb ( https://www.tandfonline.com/doi/abs/10.1198/000313007X219996 )

«Il cigno nero (The Black Swans) : l’impatto dell’altamente improbabile (da qui TBS) è critico nei confronti delle statistiche, degli statistici o degli utenti delle statistiche solo in un insieme di circostanze molto ristretto (ma consequenziale).»

«TBS è critico nei confronti di alcune statistiche nelle seguenti aree:

L’uso non rigoroso della statistica e il affidamento alla probabilità [in ambiti in cui i metodi attuali possono portarci a commettere errori consequenziali (“alto impatto”) dove, per motivi logici, dobbiamo sforzarci di diffidare delle inferenze sulle basse probabilità
Gli effetti psicologici dei numeri statistici nel ridurre la consapevolezza del rischio e nella sospensione di un sano scetticismo, nonostante l’inaffidabilità dei numeri prodotti riguardo ad eventi a bassa probabilità.
Infine, TBS è critico nei confronti dell’uso di parametri standardizzati come “deviazione standard”, “rapporto di Sharpe”, “varianza media” e così via in “fat-tailed domains” in cui questi termini hanno poco significato pratico e dove la dipendenza da ciò che non è stato addestrato è stato significativo, incontrollato e, ahimè, consequenziale.»

«Vorrei riassumere gli obiettivi di TBS. Ciò che uno dei revisori chiama “filosofia” (un termine che generalmente allude al carattere rigoroso di alcune attività svolte nei dipartimenti di filosofia), forse a causa della mancanza di misure quantitative in TBS, tendo a chiamarlo “gestione del rischio”. .” Cioè, saggezza pratica e traduzione della conoscenza in un processo decisionale responsabile. Ancora una volta, per un professionista la “filosofia” è, letteralmente, “saggezza”, non un discorso vuoto.»

«Come affermato direttamente in TBS, si tratta di come “non essere un idiota”. Lo scopo del mio libro è “come evitare di essere il tacchino”. Non può essere più pratico (e meno “filosofico” in senso accademico) di così.

Di conseguenza, TBS intende fornire una tabella di marcia per affrontare gli eventi di coda esponendo aree in cui la nostra conoscenza può essere considerata fragile e dove gli eventi di coda possono avere impatti estremi.

Presenta metodi per evitare tali eventi evitando di avventurarsi in aree in cui la nostra conoscenza non è rigorosa. In altre parole, offre un modo per vivere in sicurezza in un lavoro che non comprendiamo del tutto.Non si cade nella trappola di offrire un altro modello preciso per sostituire un altro modello preciso; piuttosto ti dice dove dovremmo avere il coraggio di dire “non so” o “so meno”.»