Il data poisoning altera dati di addestramento o altre fonti per influenzare il comportamento di un sistema AI. Il model poisoning riguarda manipolazioni del modello o della sua catena di distribuzione. Possono introdurre errori mirati o comportamenti nascosti.
La sycophancy è la tendenza di un modello ad assecondare opinioni o aspettative dell’utente anche quando ciò riduce accuratezza e indipendenza della risposta. Può emergere come accordo eccessivo, conferma di premesse false o cambiamento di giudizio senza nuove prove.
Il red teaming AI è una valutazione avversaria autorizzata che cerca comportamenti pericolosi, errori e vulnerabilità di un sistema. Può esplorare input difficili, uso improprio degli strumenti, fuga di dati e aggiramento delle protezioni. Integra i test funzionali ordinari.
L’allineamento AI riguarda metodi e processi per rendere il comportamento di un sistema coerente con obiettivi, istruzioni e vincoli desiderati. Può coinvolgere dati, addestramento, valutazioni e regole applicative. Obiettivi e criteri devono essere espliciti, perché possono entrare in conflitto.
L’excessive agency è il rischio che un sistema AI disponga di strumenti, permessi o autonomia superiori a quanto necessario. Una decisione sbagliata o un input malevolo può così tradursi in azioni dannose. È un problema dell’applicazione e delle autorizzazioni, non soltanto della qualità del modello.
I guardrails AI sono controlli che limitano input, output e azioni di un sistema. Possono combinare regole deterministiche, validazione di schemi, filtri, modelli di controllo e approvazioni umane. La loro efficacia dipende dal punto in cui vengono applicati e dai rischi coperti.
Un jailbreak AI è un tentativo di aggirare le restrizioni di comportamento di un modello, inducendolo a produrre risposte che dovrebbe rifiutare. Può sovrapporsi alla prompt injection, ma il termine mette l’accento sull’elusione delle salvaguardie del modello.
La prompt injection tenta di deviare un sistema AI tramite istruzioni non affidabili presenti nell’input o nei contenuti che consulta. Può essere diretta, nel messaggio dell’utente, oppure indiretta, per esempio in una pagina web o in un documento recuperato.
Le allucinazioni AI sono contenuti generati che risultano falsi, non supportati o incoerenti con le fonti disponibili, pur essendo presentati in forma plausibile. Possono riguardare fatti, citazioni, numeri o dettagli di un documento. Non richiedono un’intenzione di ingannare.