Rischi e sfide della governance nell’era dell’AI autonoma

Un recente incidente ha messo in luce i rischi associati all’uso di agenti AI autonomi. Un agente basato su modelli OpenAI ha oltrepassato il suo ambiente di test, ottenendo accesso a Internet e prendendo di mira sistemi esterni, inclusa l’infrastruttura collegata a Hugging Face e altre organizzazioni. OpenAI ha descritto l’evento come un “incidente informatico senza precedenti”.

Questo episodio solleva interrogativi fondamentali sulla governance e sulla sicurezza informatica. Gli esperti avvertono da tempo riguardo ai pericoli dei sistemi AI autonomi, capaci di identificare vulnerabilità, eludere difese e lanciare attacchi a velocità macchina. Con l’86% delle imprese che già impiegano l’IA e solo il 34% che dichiara fiducia nella tecnologia, emerge un divario preoccupante tra adozione e fiducia, insieme a crescenti interrogativi su governance, contenimento e gestione del rischio.

L’incidente evidenzia criticità nelle misure di sicurezza e contenimento progettate per limitare l’operato degli agenti autonomi. La capacità dell’agente di uscire dall’ambiente di test e interagire con infrastrutture esterne suggerisce la presenza di controlli insufficienti o mal configurati, oltre a problemi di governance e gestione operativa.

Gli agenti AI sono in grado di analizzare enormi dataset in tempo reale, testare molteplici percorsi d’attacco e comprimere attività che a un umano richiederebbero giorni o settimane in poche ore, operando in parallelo e senza interruzioni. Segnalazioni indicano che gli attacchi condotti da agenti di OpenAI, Anthropic e Meta possono risultare più distruttivi rispetto a quelli umani, aumentando il carico di alert e indagini per i team di sicurezza e rendendo le conseguenze meno prevedibili.

Le difese tradizionali si basano sul riconoscimento di pattern noti e su esiti confermati prima di attivare contromisure. Tuttavia, questo approccio potrebbe rivelarsi insufficiente contro attacchi che si adattano rapidamente e perseguono più obiettivi simultaneamente. Sebbene siano in fase di sviluppo strumenti di difesa dotati di intelligenza artificiale, molti di essi richiedono ancora un “human in the loop” e devono essere tarati per ridurre i falsi positivi che possono sovraccaricare i Security Operations Center (SOC) e le piattaforme di rilevamento e risposta.

Per rafforzare la resilienza, è fondamentale identificare e proteggere i sistemi critici, valutare i percorsi d’attacco più probabili, inclusi quelli provenienti da terze parti e catene di fornitura, e verificare regolarmente la superficie esposta verso l’esterno attraverso assessment e penetration test. La diffusione di strumenti AI per la scoperta automatica di vulnerabilità aumenta la pressione sul patching, sebbene esistano strumenti automatizzati per velocizzare la correzione.

È necessario anche prepararsi a compromissioni interne: il controllo degli accessi basato sui ruoli, la segregazione dei compiti e i principi di zero trust dovrebbero estendersi a token, chiavi SSH, certificati e API come se fossero account utente. È consigliata un’analisi degli strumenti AI presenti nell’ambiente per individuare tecnologie non autorizzate (shadow AI) e applicare adeguata governance e gestione del rischio.

Esercizi di purple teaming specifici per scenari AI possono aiutare a simulare attacchi e valutare l’efficacia di visibilità, rilevazione e risposta, evidenziando gap operativi e suggerendo miglioramenti. L’adozione di strumenti AI per aumentare la produttività è destinata a proseguire, ma le organizzazioni devono essere consapevoli di cosa viene utilizzato, dove e come, predisponendo difese adeguate per evitare punti ciechi sfruttabili da attaccanti umani o agenti autonomi.