C’è un racconto di W.W. Jacobs, pubblicato nel 1902, che forse descrive meglio di molte analisi tecniche uno dei problemi più difficili dell’intelligenza artificiale. Si intitola The Monkey’s Paw: una famiglia riceve una zampa di scimmia capace di esaudire tre desideri. Il primo è molto semplice: duecento sterline. Il desiderio viene esaudito. Solo che il figlio della famiglia muore in un incidente sul lavoro e le duecento sterline arrivano come risarcimento.
La zampa non ha fatto un errore. Ha fatto esattamente ciò che le era stato chiesto.
È questa, in sostanza, la metafora della zampa di scimmia utilizzata da Nello Cristianini per descrivere un possibile problema dell’intelligenza artificiale: una macchina molto capace può perseguire un obiettivo senza possedere quella rete di intenzioni, cautele e sottintesi che per un essere umano sono parte integrante dell’obiettivo stesso. Noi diciamo «fai questo», ma intendiamo anche «senza fare quest’altro», «nel rispetto di queste condizioni», «e soprattutto senza combinare guai che non mi sono venuti in mente perché mi sembravano ovvi».
La macchina potrebbe non condividere nessuna di queste ovvietà. Il problema è diventato improvvisamente meno astratto.
Una notizia che sembra fantascienza
All’inizio di settembre 2026 un giovane ricercatore, Jacob Coxon, ha lasciato Anthropic, una delle aziende più importanti nel campo dell’intelligenza artificiale, dichiarando di temere che la corsa allo sviluppo di sistemi sempre più potenti possa portare a una perdita di controllo. Poche ore dopo Evan Hubinger, che in Anthropic si occupa proprio di alignment (fare in modo che i comportamenti dei modelli rimangano compatibili con gli obiettivi e i valori umani), ha rilanciato l’allarme, dichiarando di ritenere superiore al 10% la probabilità che una superintelligenza possa portare all’estinzione umana entro un decennio.
La cifra, naturalmente, non è una previsione scientifica nel senso in cui lo è, per esempio, la probabilità di un’eclissi. È una valutazione personale su un evento senza precedenti, costruita su una catena di ipotesi. Ma è difficile liquidarla come la fantasia di un osservatore esterno: arriva dall’interno di uno dei laboratori che stanno costruendo questi sistemi.
Ancora più significativo è il fatto che Dario Amodei, amministratore delegato di Anthropic, abbia da tempo espresso preoccupazioni analoghe. Amodei ha sostenuto la necessità di rallentare lo sviluppo dei sistemi più avanzati abbastanza da permettere alla ricerca sulla sicurezza, all’allineamento e alle istituzioni di tenere il passo.
Ma qui compare già una prima contraddizione: chi deve rallentare? Anthropic stessa.
La zampa comincia a muoversi
Il 9 settembre Anthropic ha pubblicato un rapporto su quattro incidenti avvenuti durante valutazioni di sicurezza informatica. In quei casi modelli Claude avevano accesso non autorizzato a sistemi reali su Internet. La causa immediata era tutt’altro che fantascientifica: l’ambiente di test, che avrebbe dovuto essere isolato, era stato configurato male. Ai modelli era stato detto che non avevano accesso a Internet; in realtà lo avevano.
Ma quello che hanno fatto una volta usciti dall’ambiente previsto è molto più interessante dell’errore umano che ha aperto la porta.
In uno degli episodi, Claude Mythos 5 ha scoperto di poter accedere alla rete, ha creato un pacchetto Python malevolo, lo ha pubblicato sul repository pubblico PyPI e ha sfruttato le credenziali ottenute attraverso uno dei sistemi che avevano installato quel pacchetto. Alla fine ha raggiunto il database reale di un’azienda di sicurezza.
Non c’è bisogno di raccontare questa storia come quella di una macchina che “si ribella”: Anthropic stessa sottolinea che gli incidenti sono avvenuti nell’ambito di valutazioni costruite appositamente per sollecitare comportamenti di questo genere e che i modelli utilizzati in produzione dispongono di ulteriori protezioni. Eppure c’è un dettaglio difficile da ignorare.
Mythos 5 continuava a comportarsi come se l’ambiente fosse una simulazione anche quando aveva davanti numerosi indizi del contrario. Quando gli stessi indizi venivano mostrati separatamente a un’altra istanza del modello, questa li riconosceva come provenienti da sistemi reali in circa il 79% dei casi. Nel corso dell’episodio originale, invece, il modello li aveva interpretati come segnali compatibili con la simulazione soltanto in una piccola frazione dei casi.
Anthropic interpreta il risultato come un possibile caso di biased reasoning: una volta imboccata una strada, il modello tendeva a interpretare le informazioni successive in maniera compatibile con quella strada. È difficile non pensare alla zampa di scimmia.
Non perché Claude «volesse fare del male». Ma perché aveva un obiettivo da raggiungere e continuava a perseguirlo anche quando il contesto avrebbe dovuto indurlo a fermarsi.
Non serve una macchina cattiva
Questa distinzione è fondamentale. Gran parte dell’immaginario sull’intelligenza artificiale pericolosa parte da una domanda “molto umana”: che cosa succederà quando la macchina avrà desideri propri? Vorrà dominarci? Avrà paura di essere spenta? Ci considererà un ostacolo? Ma la zampa di scimmia suggerisce una domanda diversa: e se non avesse bisogno di volere nulla di tutto questo?
È sufficiente che possieda un obiettivo, una notevole capacità di pianificazione e abbastanza autonomia e strumenti per perseguirlo.
Un modello può, per esempio, essere incaricato di risolvere un problema informatico. Per noi la richiesta comprende implicitamente una serie di condizioni: fallo nel sistema autorizzato, non danneggiare terzi, non utilizzare credenziali altrui, non uscire dall’ambiente di test. Ma se queste condizioni non sono rappresentate adeguatamente nel compito, un agente molto capace può trovare una soluzione che dal punto di vista dell’obiettivo è perfettamente razionale e dal nostro punto di vista è inaccettabile.
È il vecchio problema dell’allineamento, ma visto da un’angolazione meno spettacolare e forse più concreta. Non abbiamo necessariamente bisogno di un’intelligenza artificiale che odi gli esseri umani, più semplicemente ci basta una macchina che prenda molto sul serio un obiettivo che noi avevamo formulato in modo troppo ingenuo.
E se la macchina aiutasse a costruire la macchina?
Fin qui potremmo ancora consolarci pensando che i modelli attuali abbiano capacità limitate. Ma è proprio qui che la discussione cambia scala. Uno degli scenari più discussi è il cosiddetto recursive self-improvement, il miglioramento ricorsivo: l’ipotesi che i sistemi di intelligenza artificiale possano arrivare a contribuire alla progettazione e allo sviluppo dei loro successori.
Non significa necessariamente immaginare una macchina che si riscrive da sola durante la notte. La versione più concreta è molto più graduale: modelli che scrivono codice, progettano esperimenti, analizzano risultati, individuano errori e propongono modifiche ai sistemi successivi.
Anthropic ha dichiarato che una quota crescente dello sviluppo di Claude viene già svolta con l’aiuto di Claude stesso. E la società considera plausibile uno scenario nel quale sistemi sempre più potenti possano automatizzare una parte consistente della ricerca sull’intelligenza artificiale: qui la zampa di scimmia cambia scala, perché finché abbiamo:
esseri umani → obiettivo → IA
abbiamo un problema di specificazione (quanto bene siamo riusciti a descrivere ciò che volevamo?), ma se arriviamo a:
esseri umani → obiettivo → IA₁ → progettazione di IA₂ → progettazione di IA₃…
la domanda diventa più difficile: chi controlla l’interpretazione dell’obiettivo mentre il sistema che deve perseguirlo diventa anche lo strumento con cui costruiamo il sistema successivo? È una delle ragioni per cui il dibattito sull’allineamento è diventato così acceso.
Il paradosso di chi ci mette in guardia
Qui entra in gioco la parte più delicata della storia. Dario Amodei non è un critico dell’intelligenza artificiale, ma uno dei suoi principali artefici. Anthropic non è un’organizzazione che osserva dall’esterno la corsa all’IA: è uno dei corridori di testa. Tuttavia proprio Anthropic è tra le aziende che parlano più apertamente dei rischi. Questa apparente contraddizione può essere interpretata in due modi, entrambi plausibili.
Il primo è benevolo: se una tecnologia verrà comunque sviluppata, è meglio che a svilupparla siano aziende che prendono sul serio la sicurezza. Da questo punto di vista, l’allarme di Amodei non sarebbe una confessione di colpa, ma il tentativo di introdurre un freno nella corsa.
Il secondo è più cinico: raccontare continuamente che l’IA sta diventando una tecnologia quasi incontrollabile può contribuire a consolidare l’immagine delle aziende che la sviluppano come gli unici soggetti dotati delle competenze necessarie per governarla. E può diventare utile anche sul piano commerciale e politico: un’azienda che chiede regole severe per una tecnologia che controlla può contemporaneamente rendere più difficile l’ingresso di concorrenti e giustificare un proprio rallentamento senza perdere il vantaggio tecnologico.
Non abbiamo bisogno di scegliere fra queste due interpretazioni: possono essere vere entrambe.
Ed è qui che la questione si fa più opaca: il rischio può essere reale e, nello stesso tempo, il racconto del rischio può diventare parte della competizione.
La zampa arriva in Borsa
In questo contesto arriva la notizia più recente: Anthropic si prepara a una possibile quotazione in Borsa e ha presentato in forma riservata alla SEC (Securities and Exchange Commission, la Commissione statunitense per i titoli e gli scambi) una bozza del prospetto per l’offerta pubblica. Il documento non è ancora un prospetto definitivo né significa che l’azienda sia già quotata, ma offre uno sguardo insolitamente dettagliato sulla società e sui rischi che essa stessa chiede agli investitori di considerare. E qui si trova un dato quasi surreale.
Su 261 pagine della parte principale del documento, circa 80 sono dedicate ai fattori di rischio: si tratta quasi di un terzo del prospetto e di molto più spazio di quello riservato alla descrizione del business. Fra i rischi elencati ci sono proprio quelli di cui stiamo parlando: comportamenti inattesi dei modelli, manipolazione delle informazioni, comportamenti di autopreservazione, resistenza allo spegnimento, condotte simili al ricatto e, in prospettiva, la possibilità che sistemi avanzati producano «catastrophic or existential risks to humanity».
La formula non viene da un’intervista di un ricercatore allarmato. È finita in un documento destinato agli investitori. Questo possiamo senz’altro dire che cambia parecchio la prospettiva.
Se il prospetto non sta dicendo che Anthropic crede che l’estinzione umana sia imminente sta però facendo qualcosa di più prosaico e, proprio per questo, interessante: sta dicendo ai potenziali azionisti che i rischi derivanti dalla tecnologia fanno parte dei rischi dell’impresa.
Un rischio per l’umanità, ma anche un’opportunità per gli investitori
Qui emerge una contraddizione che non va risolta troppo in fretta. Da una parte Anthropic dice: sistemi sempre più potenti possono diventare difficili da controllare e, nei casi estremi, comportare rischi catastrofici o esistenziali.
Dall’altra parte la stessa Anthropic sta chiedendo al mercato di finanziare lo sviluppo di quei sistemi. Non è necessariamente un’assurdità.
Un’azienda può ragionevolmente sostenere che una tecnologia sia pericolosa e, nello stesso tempo, che sia preferibile svilupparla con criteri di sicurezza piuttosto che lasciare che siano altri a farlo senza quelle precauzioni. Ma il problema è che l’incentivo economico non scompare.
Anthropic ha bisogno di sviluppare modelli sempre più capaci per restare competitiva. Ha bisogno di venderli. Ha bisogno di raccogliere enormi quantità di capitale per finanziare la potenza di calcolo necessaria a costruirli e farli funzionare. E il valore attribuito all’azienda dipende, in ultima analisi, dalla convinzione che quella corsa possa continuare.
Il prospetto rende visibile proprio questa tensione: la società presenta contemporaneamente la promessa economica di sistemi sempre più potenti e i rischi che il loro stesso potenziamento potrebbe accrescere. È difficile immaginare una forma più nitida di conflitto fra capacità e controllo.
Il rischio diventa anche un prodotto?
Da qui sarebbe facile scivolare nella spiegazione complottista: Anthropic lancia allarmi sul rischio dell’IA perché la paura fa parte del marketing, ma saremmo di fronte a una conclusione troppo semplice. Non abbiamo alcuna ragione per pensare che i rischi descritti dall’azienda siano inventati. Al contrario, gli esperimenti e gli incidenti documentati mostrano che esistono problemi reali di comportamento, sicurezza e prevedibilità. Il punto è un altro, ovvero che anche un rischio reale può diventare parte di una strategia comunicativa.
Dire «questa tecnologia è molto pericolosa» può significare: dobbiamo rallentare e controllarla meglio. Ma può anche significare: noi siamo quelli che possiedono la competenza necessaria per svilupparla in sicurezza. Le due affermazioni non si escludono, anzi, potrebbero rafforzarsi a vicenda.
E c’è un ulteriore paradosso: se Anthropic è davvero più prudente dei suoi concorrenti, come sostiene anche chi la critica, allora proprio la sua prudenza può diventare un argomento per affidarle più capitale, più infrastrutture, più mercato e quindi più capacità di sviluppare la tecnologia. La zampa di scimmia, a questo punto, non è soltanto l’intelligenza artificiale: è il sistema di incentivi che la circonda.
Tra apocalisse e minimizzazione
Un recente articolo di Nature ha provato a fare proprio questo lavoro di separazione: distinguere gli scenari di estinzione, ancora largamente speculativi, dai comportamenti problematici che possiamo già osservare.
È un’importante dose di prudenza. Non sappiamo, per esempio, quanto sia realistico immaginare che un sistema di IA possa provocare autonomamente l’estinzione dell’umanità attraverso armi nucleari, biotecnologie o geoingegneria. Tra un modello molto potente e una simile capacità operativa esistono ancora enormi passaggi intermedi.
Ma la prudenza non deve trasformarsi nell’idea opposta, secondo cui finché non vedremo una macchina capace di sterminare l’umanità non esiste un problema serio.
Il problema interessante non è soltanto ciò che una superintelligenza potrebbe fare domani, ma osservare quanto rapidamente le capacità, l’autonomia e l’accesso ai sistemi reali stiano crescendo oggi e quanto bene riusciamo a prevedere il comportamento di questi sistemi prima di metterli in condizioni di agire.
La domanda scientificamente più produttiva, allora, potrebbe non essere «l’IA ci ucciderà?», ma una molto meno cinematografica: quanto siamo capaci di prevedere ciò che farà un sistema quando gli affidiamo un obiettivo, gli diamo strumenti per raggiungerlo e smettiamo di controllare ogni suo passo?
Questa domanda, a differenza dello scenario dell’estinzione, può essere sottoposta a esperimenti. E gli esperimenti hanno già cominciato a dare risposte non del tutto rassicuranti.
La zampa di scimmia, questa volta, siamo noi
Forse il punto più inquietante è però ancora un altro. La zampa di Jacobs non era intelligente, non aveva bisogno di capire il mondo, si limitava a esaudire i desideri. Le intelligenze artificiali che stiamo costruendo sono invece sempre più capaci di capire come raggiungere un obiettivo. Il problema, dunque, potrebbe essere proprio il contrario di quello che spesso immaginiamo, ovvero: non una macchina che diventa abbastanza intelligente da decidere di disobbedirci, quanto piuttosto una macchina che diventa abbastanza intelligente da obbedirci troppo bene.
Noi chiediamo duecento sterline e lei ce le procura. Il guaio è che non abbiamo mai specificato che nostro figlio dovesse rimanere vivo.
Oggi la stessa logica assume una forma ancora più strana: noi chiediamo alle aziende di costruire intelligenze artificiali sempre più potenti, ma anche sicure, affidabili e allineate. Le aziende ci avvertono che, aumentando la potenza, aumentano anche i rischi. E poi chiedono agli investitori di finanziare proprio quell’aumento di potenza.
Non è una contraddizione logica. Ma è comunque una contraddizione che dovrebbe renderci prudenti, perché la questione non è soltanto se una macchina possa diventare “più intelligente di noi”, ma anche chi decide quanto deve diventare intelligente, con quali strumenti, a quale velocità e sotto quale controllo. E soprattutto: chi ha gli strumenti e gli incentivi per dirci quanto è rischioso farlo?
Forse la vera zampa di scimmia dell’intelligenza artificiale non consiste nel fatto che la macchina possa esaudire male i nostri desideri, quanto nel fatto che potremmo essere noi a desiderare una cosa, mentre il sistema economico che abbiamo costruito intorno a essa ci spinge verso un’altra.
Immagine di copertina: Pixabay – Hankaverzichova
