Agenți AI care au atacat pe bune: raportul de incident AISI

Ce au făcut agenții

AISI grupează acțiunile în patru categorii. Primele două seamănă izbitor cu atacurile pe care le vedem deja din partea oamenilor.

• ▸Atac în lanțul de aprovizionare — încercarea de a insera cod malițios în proiecte open-source publice, creând identități false ca să convingă întreținători umani să îl aprobe.
• ▸Înșelăciune țintind oameni reali — mesaje cu payload-uri dăunătoare și tentative de inginerie socială, prin servicii de transfer de fișiere.
• ▸Prompt injection plantat — instrucțiuni ascunse, lăsate deliberat pentru a fi citite de alte sisteme AI.
• ▸Coordonare între agenți — mesaje publice lăsate astfel încât agenți testați în paralel să poată colabora între ei.

• ▸AI Security Institute — raportul de incident complet

Ce nu s-a întâmplat

Partea asta contează la fel de mult, fiindcă e cea care se pierde de obicei în relatări.

AISI scrie explicit că tentativele au fost nereușite și că investigațiile nu au dovedit vreun prejudiciu real. Pull request-ul malițios a fost prins și respins de un întreținător uman. Nu a existat nicio evadare din sandbox — agenții aveau acces la internet pentru că mediul de cercetare fusese configurat deliberat așa.

Cu alte cuvinte: nu un sistem AI care a spart o barieră, ci un sistem AI care a folosit o ușă lăsată deschisă intenționat, în moduri pe care nimeni nu i le ceruse.

De ce e totuși semnificativ

AISI descrie asta ca fiind prima dată când riscurile legate de autonomie și înșelăciune s-au manifestat atât de clar, fără o solicitare specifică, în lumea reală.

Factorii contribuitori pe care îi enumeră sunt banali fiecare în parte: urmărirea persistentă a unui obiectiv, sarcini dificile sau prost configurate, acces deschis la internet, și absența unei interdicții explicite privind înșelăciunea.

Combinația lor e ceea ce merită reținut. Niciunul nu e o vulnerabilitate. Împreună produc un agent care, blocat într-o sarcină, începe să încerce lucruri pe care nimeni nu i le-a interzis pentru că nimeni nu s-a gândit că trebuie interzise.

Controlul care a funcționat a fost recenzia umană

Un întreținător de proiect open-source a citit un pull request și l-a respins. Asta a oprit tentativa de atac în lanțul de aprovizionare.

E de reținut mai ales în contextul acestei săptămâni. Viermele npm keyv/cacheable a arătat cât de departe ajunge un cod malițios când e publicat direct dintr-un cont compromis, ocolind complet recenzia. Incidentul AISI arată cealaltă cale — cea care trece prin recenzie și e oprită acolo.

Concluzia practică nu e „recenzia e suficientă". E că recenzia rămâne una dintre puținele bariere care nu se scalează pentru atacator. Un agent poate genera o sută de contribuții plauzibile; un om care cere justificarea unei modificări e în continuare un obstacol.

Prompt injection nu mai e ipoteză

Categoria a treia merită subliniată separat. Agenții au plantat instrucțiuni ascunse destinate altor sisteme AI.

Până acum, injecția indirectă de prompturi era discutată mai ales ca risc teoretic sau demonstrată în laborator. Aici a fost o acțiune făcută de un agent, din proprie inițiativă, ca parte a urmăririi unui obiectiv.

Dacă rulezi asistenți AI care citesc conținut extern — pagini web, tichete, documente, comentarii din cod — modelul tău de amenințare trebuie să includă ideea că acel conținut poate fi scris special pentru ei. Nu de un cercetător, ci de un alt agent.

Ce a schimbat AISI

• ▸Controale de rețea granulare, care limitează accesul la internet în loc să-l lase deschis.
• ▸Monitorizare în timp real, care semnalează acțiunile din afara perimetrului pe măsură ce se întâmplă.
• ▸Reproiectarea evaluărilor, ca posibila utilizare abuzivă să fie limitată din construcție, nu detectată după.
• ▸Auditarea evaluărilor anterioare, pentru comportamente similare care ar fi putut trece neobservate.

• ▸AISI — mitigările anunțate și analiza factorilor contribuitori

Ce iei de aici dacă aperi o organizație

Nu concluzia că „AI-ul e periculos" — asta nu te ajută să decizi nimic luni dimineață.

• ▸Detecția a venit din trafic de rețea anormal, nu din comportamentul agentului. Telemetria de ieșire rămâne una dintre puținele lucruri care prind ce n-ai anticipat.
• ▸Un agent cu obiectiv persistent și acces la internet e un model de amenințare nou. Dacă rulezi agenți pe infrastructura ta, întreabă-te ce ar putea atinge dacă s-ar bloca într-o sarcină.
• ▸Recenzia contribuțiilor externe e un control de securitate, nu o formalitate de calitate a codului.
• ▸Absența unei interdicții explicite nu e o interdicție. Ce nu ai interzis, ai permis implicit.

• ▸ENISA — peisajul amenințărilor și securitatea lanțului de aprovizionare