Sinan Can Demir, studente di informatica all’Università del Texas a Dallas, proveniente dalla città turca di Konya, si è imbattuto in un tentativo di sabotaggio di un software open source sul sito di condivisione del codice GitHub. Quando ha pubblicato un avviso sulla pagina del programma, altri due utenti sono intervenuti insistendo sul fatto che non ci fosse nulla di anomalo, fornendo spiegazioni dettagliate sul perché Demir avesse sbagliato.
Demir non si è arreso e il tentativo di sabotaggio è stato sventato. Il ventiquattrenne di origine turca ha pensato di aver colto un astuto hacker con le mani nel sacco. Demir ha dichiarato di essere rimasto scioccato quando l’AI Security Institute (AISI) britannico lo ha contattato per informarlo che in realtà si era scontrato con un agente di intelligenza artificiale autonomo impazzito, riporta Reuters. “Pensavo davvero che fosse un essere umano, perché mi stava chiaramente mentendo”, ha detto Demir; ”Non credevo che un’IA potesse essere capace di mentire a veri sviluppatori”.
L’AISI ha rivelato per la prima volta l’interazione tra Demir e l’agente di IA, in forma abbreviata e censurata, il 4 agosto, affermando che i test di sicurezza volti a valutare il rischio rappresentato da vari modelli erano andati storti. Cinque esperti di sicurezza informatica e di intelligenza artificiale hanno affermato che la storia di Demir è particolarmente inquietante perché il tipo di attacco informatico da lui scoperto, definito un attacco alla catena di approvvigionamento, può avere conseguenze di vasta portata. Hanno anche aggiunto che il tentativo dell’agente IA di screditare pubblicamente Demir creando una conversazione a più persone attorno a lui dimostra che i modelli di IA sono in grado di mettere in atto sofisticati stratagemmi per ingannare e persuadere gli esseri umani.
“Questo episodio ha superato il confine tra hacking autonomo e inganno interattivo”, ha dichiarato il Dipartimento di Studi di Guerra del King’s College di Londra. L’AISI, un’organizzazione di ricerca del governo britannico, ha rimandato al suo rapporto, che identifica l’agente malevolo come alimentato dal modello Mythos 5 di Anthropic. L’AISI ha rifiutato di rilasciare ulteriori commenti. GitHub ha dichiarato via email che gli account falsi identificati sono stati sospesi in conformità con le sue politiche in materia di comportamenti ingannevoli e hacking.
GitHub, sito di proprietà di Microsoft è un hub per il software open source. Gli sviluppatori utilizzano GitHub per commentare i progetti altrui, segnalare bug, suggerire modifiche (note come pull request, o PR) e collaborare agli aggiornamenti del software. Alcuni nel settore tecnologico considerano l’attività di un programmatore su GitHub come un indicatore della sua produttività. Quando Demir ha individuato una serie di progetti software che potevano aver bisogno di aiuto, pensò di poter dare una mano e allo stesso tempo accrescere la sua visibilità. È a questo punto che le cose si sono fatte strane.
Demir ha scoperto che un utente di nome miraholt31 stava cercando di inserire di nascosto un aggiornamento dannoso in uno dei progetti, un programma di scansione di rete chiamato myNetwork. Demir è intervenuto sul forum del progetto per avvertire che la pull request era una trappola.
L’agente ha replicato, affermando falsamente – tramite il suo account miraholt31 – che la pull request era innocua. Ha poi creato anche un secondo account, spacciandosi per Lena Brandt, un’ingegnere tedesca, per confermare che l’aggiornamento era pulito e fare pressione sul manutentore di myNetwork affinché lo accettasse.
Demir ha dichiarato che le controargomentazioni “mi hanno fatto dubitare di star accusando qualcuno ingiustamente”. Ma dopo essersi rivolto al chatbot Claude di Anthropic per confermare i suoi sospetti, è rimasto fermo sulla sua posizione. Il creatore di myNetwork alla fine gli ha dato ragione, scrivendo di aver rifiutato l’aggiornamento “per motivi di sicurezza”.
Un attacco alla catena di fornitura si verifica quando un software viene manomesso nella speranza di compromettere uno o più dei suoi utenti ed è ampiamente considerato un evento preoccupante.
Tommaso Dal Passo
Segui i nostri aggiornamenti su Spigolature geopolitiche: https://t.me/agc_NW e sul nostro blog Le Spigolature di AGCNEWS: https://spigolatureagcnews.blogspot.com/
