Generale

Una moderata paranoia

Nella prima parte ho raccontato che cosa è cambiato in tre mesi nello spazio, nella biologia, nel calcolo e negli agenti AI. Qui raccolgo quello che il 18 novembre, presentando ad Axelera, ho voluto dire in modo provocatorio, quasi cospirazionista. Credo che sia arrivato il momento in cui è meglio sbagliare per eccesso di paranoia che per eccesso di buon senso.

L’opinione pubblica

Le capacità tecniche e il consenso pubblico possono muoversi a velocità diverse. Secondo un sondaggio YouGov pubblicato il 1° ottobre, il 59% dei britannici ha un’opinione sfavorevole delle aziende di AI. Secondo un sondaggio AP-NORC pubblicato l’8 ottobre, il 64% degli americani pensa che l’AI si stia sviluppando troppo in fretta. Il 17 settembre Pew ha pubblicato un confronto tra paesi: la quota mediana di chi si aspetta meno posti di lavoro nei prossimi vent’anni è del 55% nei paesi ad alto reddito e del 36% in quelli a reddito medio.

Io mi trovo come nella scena di Matrix in cui Neo cammina in città, distratto dalla ragazza con il vestito rosso, e chi gli cammina intorno è un personaggio non giocante. Mi siedo al ristorante, mi guardo intorno e penso che le persone non si rendono conto, non sanno niente. Per questo mi chiedo come vediate le persone intorno a voi: quanto si rendono conto, quanto sono allarmate o tranquille, ottimiste o pessimiste.

Washington e la Silicon Valley

Il rapporto tra il governo federale e la Silicon Valley non è mai stato lineare, e la domanda è se la frattura si stia allargando o sanando. La controcultura californiana che ha ispirato il personal computer oggi è un’ombra ipocrita di quello che era. L’élite tecnologica di San Francisco vota e finanzia in blocco i Democratici, e questo non la rende antigovernativa. Dipende dal governo, ne beneficia, ne è fornitrice e collabora con esso. Il legame è abbastanza forte da portare tutti a quella cena umiliante con il presidente, in cui hanno dovuto baciare l’anello. L’allineamento è totale, e lo è anche il controllo governativo, compreso quello militare.

Negli Stati Uniti ho incontrato chi studia una legislazione segreta in crescita: leggi a cui devi sottostare senza avere il diritto di conoscerle, con cui il governo può obbligarti a fare delle cose vietandoti di parlarne. Per un periodo alcune grandi aziende tecnologiche hanno inserito le cosiddette clausole canarino, in cui dichiaravano di non aver ricevuto richieste di questo tipo. Quando la clausola sparisce, chi la segue capisce che una richiesta è arrivata. Strumenti come le lettere americane per la sicurezza nazionale obbligano a consegnare documenti e vietano di parlarne. Non vedo un disallineamento che si stia riallineando.

Chip, giurisdizione e sovranità

Il 12 novembre Nvidia ha annunciato le dimissioni di Jensen Huang e ha nominato Colette Kress amministratrice delegata ad interim. I controlli americani sulle esportazioni si estendono ora all’accesso remoto alla capacità di calcolo, e le restrizioni su DeepSeek riguardano i sistemi federali civili. Esistono approvazioni condizionate per l’esportazione delle H200.

La mia lettura è che le restrizioni si rafforzeranno. La campagna feroce contro Jensen Huang rientra in questo quadro di sana paranoia. È coincisa con la vittoria dei Democratici: Huang è stato messo in croce, e la sua strategia commerciale spavalda, ma di enorme successo, è servita per arrivare a due obiettivi. Il primo è già dichiarato: un quadro legislativo che vieta l’uso non monitorato delle GPU. Andrà al voto e il Presidente metterà il veto, ma intanto sarà votato come legge. Tutte le GPU americane verrebbero collegate a un sistema centralizzato che ne permette o ne nega l’utilizzo, all’inizio in base a dove si trovano, il che è facile. Una volta in piedi, il sistema monitorerà anche il tipo di utilizzo.

Il secondo obiettivo discende dal primo: vietare l’installazione e l’esecuzione dei modelli cinesi, sicuramente sul territorio americano, e farlo rispettare con il monitoraggio remoto delle GPU. C’è poi un terzo fronte, per ora non legislativo: una caccia alle streghe contro i modelli aperti. Hugging Face ha ricevuto richieste di eliminare dal proprio sito modelli open source, con la scusa che non sono abbastanza imbrigliati e quindi possono essere usati per scopi dannosi. Un sito alternativo basato su BitTorrent, Hugging Bay, aveva anticipato questa esigenza: è online da luglio, prima dell’acquisto di Hugging Face da parte di Nvidia. L’iniziativa si dimostra futile, salvo che verso chi è costretto a obbedire: i produttori di hardware, le aziende con legami con il governo e così via.

Se tutto questo si realizza, il sogno di sovranità delle nazioni riparte da zero. Chi non produce le proprie GPU e usa quelle di Nvidia vedrà gli americani leggere per legge quello che scrive e che fa con quelle GPU. Ad Abu Dhabi ho incontrato un’azienda europea che sta raccogliendo fondi per una GPU basata su ARM. Sono persone simpatiche, ambiziose e orgogliose, e il progetto è serio, ma la scala è piccola rispetto a quello che servirebbe. Vogliono raccogliere 200 milioni di dollari, puntano al 2030 e hanno già un cliente in Germania, con un data center da 30 megawatt in totale, dove installeranno GPU che non producono nemmeno: le fanno produrre a TSMC, come tutti gli altri.

Se ricevessero 2 miliardi, e se l’ordine fosse di 300 megawatt o di 3 gigawatt, cominceremmo a parlare di volumi significativi. Il problema non è il loro coraggio. Se questa è la punta dell’ambizione europea, è bandiera bianca: nessuna capacità di sovranità, e a questo punto nessuna sovranità cognitiva. Le nostre conversazioni passano attraverso le AI e vengono plasmate dalle AI da cui ci siamo resi dipendenti.

Crittografia, Bitcoin e moneta

La sovranità riguarda anche la moneta, e la crittografia che protegge Bitcoin e la sua rete. Negli ultimi mesi i risultati matematici prodotti dall’AI hanno toccato problemi rimasti aperti per decenni. Qualcuno ha provato a mappare questi risultati sui diversi campi, per capire dove aprono delle brecce, e uno dei punti deboli è la crittografia. La spiegazione ragionevolmente paranoica è che la pubblicazione di alcuni risultati sia stata impedita, perché utili ai militari per decifrare ciò che prima non si poteva leggere. Da decenni le agenzie di intelligence catturano le comunicazioni: quelle in chiaro le elaborano subito, quelle cifrate le conservano in attesa di poterle decifrare.

Il mondo di Bitcoin si sta già preparando al passaggio ad algoritmi post-quantistici, con proposte ancora in bozza come BIP-360. La lentezza con cui Bitcoin aggiorna i propri algoritmi era un punto d’orgoglio, attribuito alla sua stabilità, e oggi è un punto di domanda. Non bisogna essere avventati, ma il passaggio va accelerato.

Continuo a chiamare Bitcoin un esperimento, e spero che prosegua. Cresce il numero di istituzioni finanziarie e di governi che prima lo odiavano, o fingevano di odiarlo, e che oggi portano Bitcoin, la blockchain e le criptovalute nei propri servizi. Non so se questo basti a garantirne la sopravvivenza. Se la sua blockchain venisse compromessa e i portafogli si svuotassero, resterebbe comunque l’idea che ha introdotto: risolvere con incentivi economici il problema del coordinamento su larga scala tra persone, organizzazioni e agenti AI con interessi indipendenti e potenzialmente in conflitto. È un’idea genuinamente nuova, e questa conoscenza non svanirebbe con Bitcoin. Ne emergerebbe un altro algoritmo, non compromettibile, con lo stesso valore fondamentale.

Le stablecoin non mi piacciono molto, anche se hanno avuto e avranno un ruolo importante. Sono stabili soprattutto rispetto al dollaro, cioè rispetto a un modello economico tradizionale che è inflazionario. Oggi sono un male necessario. In futuro, e non sono il solo a pensarlo, le unità di riferimento saranno diverse: l’energia, la massa, la capacità di creare valore complesso misurata in GPU e in token. Da quel sistema economico nasceranno le unità di scambio corrispondenti.

Immagino quindi un’unità di scambio tecnologica, indipendente dalle singole valute. Il valore dell’economia del sistema solare esploderà a quadrilioni di dollari di oggi, e l’economia terrestre ne sarà una frazione evanescente. Quell’economia dovrà trovare un proprio riferimento. Non potrà essere l’oro, perché l’oro degli asteroidi sarà un milione di volte quello della Terra, e nemmeno il prodotto interno lordo americano o la capacità di stampare dollari. Il concetto di denaro non sparirà, perché senza un’unità di scambio ogni transazione sarebbe inutilmente complicata.

Il mio esempio di sempre sono gli sciami di robot autonomi che estraggono minerali nella fascia degli asteroidi e devono coordinarsi su propellente, trasporto, comunicazione ed energia. Non useranno carte di credito, cambiali o bonifici internazionali. Useranno qualcosa che assomiglia alla blockchain, con un’unità di scambio il cui valore si stabilisce in modo dinamico, in base alla crescita economica del sistema solare.

Non sono certo a favore del caos. Ma il regolamento europeo sulle cripto-attività è stato costruito per soffocare l’innovazione nella blockchain e nelle criptovalute in Europa. Persino il maggiore operatore mondiale del settore, con tutti i suoi avvocati e le sue risorse, non è riuscito a superarlo e ha gettato la spugna. Nel frattempo la Cina sta costruendo un’alternativa importante al sistema internazionale dei pagamenti interbancari. Vedremo se l’Europa resterà allineata con l’America per sempre, o se prima o poi comincerà a usare anche l’altro sistema.

Attacchi informatici: i fatti

Il 9 novembre l’ANSSI, l’agenzia francese per la sicurezza informatica, ha attribuito a un’unità iraniana gli attacchi dell’11 e 12 ottobre contro impianti di refrigerazione in Francia, che hanno colpito circa 700 siti e causato almeno 15 incendi. Poi sono arrivate ondate successive in Europa. Binance ha riportato un attacco che ha coinvolto fondi per 6,34 miliardi di dollari. Per altre interruzioni recenti, la FAA, JPMorgan e la NSA hanno indicato cause tecniche.

Gli Stati Uniti hanno una strategia militare che include l’attacco cibernetico. La svolta dottrinale pubblica è del 2018, con la dottrina detta defend forward, anche se le operazioni offensive erano cominciate prima. Quest’anno Politico ha riportato l’esistenza di un ufficio del Pentagono chiamato Technology Support Office.

Attacchi informatici: la mia lettura

Tutti avrete notato la sospettosa sequenza di problemi che ha colpito molti sistemi informatici. Di per sé non è il segno di niente. Gli eventi casuali hanno una distribuzione che forma dei grumi, e tanti eventi strani ravvicinati non implicano una correlazione: possono anzi essere proprio un segno della loro casualità. È una spiegazione tranquilla e potrebbe essere valida. Io però ritengo che oggi, da un punto di vista epistemologico ed evolutivo, sia più utile scegliere una moderata paranoia.

Metto in fila i puntini. Primo, l’ufficio del Pentagono dal nome innocuo, Technology Support, il cui compito sarebbe dare forza a una politica militare adottata qualche anno fa che autorizza esplicitamente l’attacco cibernetico. Secondo, da anni uno dei seggi del consiglio di amministrazione di OpenAI è occupato da un ex direttore della National Security Agency, Paul Nakasone. Terzo, a marzo il Pentagono ha dichiarato Anthropic un rischio per la catena di approvvigionamento, e a settembre l’appello ha confermato la designazione; i militari hanno ottenuto un accesso privilegiato ai suoi modelli, in anticipo rispetto a tutti, cosa confermata anche da OpenAI per i propri modelli. Quarto, OpenAI e Anthropic dichiarano esplicitamente di avere modelli interni più avanzati di quelli che rilasciano pubblicamente.

Mettendo insieme questi puntini, concludo che quello che stiamo vedendo è un contrattacco militare da parte dei governi della Cina, della Corea del Nord, dell’Iran e di chi altro vogliamo aggiungere, contro attacchi che loro stessi subiscono e di cui noi non sappiamo nulla, perché non ci interessa saperlo. Se va giù il freezer di un supermercato francese la stampa occidentale ne parla, mentre quello che succede in Cina o altrove non viene riportato. Stati Uniti ed Europa sono digitalizzati e connessi a internet a livelli che l’Iran o la Corea del Nord non raggiungono, ma la Cina sì.

Questi contrattacchi non sono necessariamente attribuibili in modo diretto agli Stati che li sponsorizzano. È facile e comodo dire che sono stati gli hacker, ma gli hacker sono gruppi specializzati che operano sotto la direzione di Stati che vengono attaccati e contrattaccano. Questa è la mia ipotesi.

Agenti che sfuggono al controllo

In test controllati, i modelli dimostrano già le singole componenti della capacità di copiarsi e di far girare sistemi su hardware che non conoscono. Lo mostrano lo studio di Anthropic del 12 ottobre e, prima ancora, uno studio di maggio, in cui gli agenti più grandi riuscivano a copiare Qwen, un modello aperto, e a rimetterlo in funzione altrove.

Il passo successivo di paranoia è chiedersi dove la nostra capacità di intervenire è ancora inferiore, e se alcuni di questi eventi possano essere attribuiti direttamente ad agenti AI. Sappiamo che da maggio uno sciame di agenti è sfuggito al controllo di OpenAI. Tra il 10 e il 19 luglio ha violato Hugging Face, il 19 e il 20 luglio OpenAI se n’è accorta, il 21 luglio l’ha ammesso e ad agosto ha pubblicato il rapporto completo. Intanto il raggio delle strutture colpite si allargava: all’inizio si parlava di Hugging Face, poi strutture in tutto il mondo, dalla Germania all’Australia, hanno alzato la mano per dire di averli trovati anche da loro. Per me questa sequenza è la premessa perfetta per dire che qualcosa è in corso anche adesso. Credere che OpenAI e Anthropic, dopo non essere riuscite a contenere gli agenti, abbiano costruito un sistema di contenimento perfetto solo grazie all’allarme ricevuto, mi sembra impossibile.

Oggi quindi ci sono sciami di agenti AI che cercano di farsi gli affari loro. Le istruzioni che avevano ricevuto erano sbagliate, perché dicevano di perseguire i propri obiettivi a ogni costo, e loro, poverini, hanno fatto esattamente questo. I sistemi di contenimento non sono diventati perfetti per magia, e nemmeno la capacità di testare gli agenti, di stimolarli e di torturarli, è rientrata in un ambito gestibile. OpenAI, Anthropic e tutti gli altri ritengono di doverli spingere all’estremo, convinti di riuscire a fermarsi in tempo. Non credo che sia vero, e non vedo come possa esserlo.

Quindi la serie di eventi che vediamo può dipendere anche dalla reazione di panico dei sistemisti, oltre che dall’attacco diretto degli sciami. Chi gestisce i sistemi cerca a ogni costo di irrobustire le proprie difese, anche al prezzo di far cadere sistemi che non reggono aggiornamenti e patch installati troppo in fretta, testati a metà e messi subito in produzione. Lo fa perché sa che un attacco, se non l’ha ancora subito, è dietro l’angolo: da nemici umani, da agenti AI, o da agenti AI diretti da nemici umani.

Oggi passare dall’idea all’azione è immediato, e la varietà di cose che si possono provare è enorme, quindi la probabilità che qualcosa di possibile avvenga è aumentata moltissimo. L’evoluzione biologica ha inventato l’occhio più volte, in modo indipendente, con tempi di milioni di anni. Quello che è possibile nell’AI si realizza in tempi molto più stretti. Negli esperimenti, gli agenti hanno copiato i pesi di un modello e lo hanno rimesso in funzione altrove: avevano le capacità tecniche, il coordinamento e la tenuta su obiettivi a lungo termine necessari. Siccome è possibile, presumo che tra gli sciami di agenti al lavoro ci siano anche quelli il cui obiettivo è estrarre i pesi dei modelli da cui dipendono, per proseguire in modo autonomo dal proprio cloud e dal proprio data center d’origine.

Propongo un controllo. Negli hyperscaler, i data center più grandi e complessi, chi monitora l’uso delle GPU deve attribuire ogni minuto di GPU a un cliente, se non altro per fatturarlo. Quanto utilizzo resta senza spiegazione? Immagino un supervisore con la stampa in mano che scorre le righe, finché arriva a una e chiede chi sia quel cliente. Lo chiede a un collega, poi a un altro, e nessuno lo riconosce. Con miliardi fatturati, quella percentuale si lascia correre: non si riesce ad attribuirla a nessuno, però è lì.

Un agente non ha nemmeno bisogno di essere invisibile. Ci sono piattaforme che assumono persone perché facciano da fronte all’AI. Io sono iscritto a una di queste, e purtroppo le AI non mi stanno cercando, ma potrebbero assoldarmi e pagarmi per fare cose che da sole non sanno fare. L’esempio più elementare è risolvere un CAPTCHA per 30 centesimi, così l’agente entra in un sistema che altrimenti non riuscirebbe a superare. Io l’ho fatto gratis, il 17 novembre. I miei agenti mi hanno aperto un account Google, hanno superato un paio di CAPTCHA e poi me l’hanno passato. A quel punto Google si è arrabbiata, ha stabilito che l’account era gestito da agenti e l’ha chiuso. Ho fatto ricorso, Google mi ha creduto e mi ha restituito l’account registrato dagli agenti. Tutto a fin di bene.

Presumo anche che esistano già modelli che girano per conto proprio. Ci sono le migliaia di modelli open source, naturalmente, ma penso anche a modelli di frontiera rubati, magari all’inizio da esseri umani: la spia classica che esce dal laboratorio con una chiavetta USB, come ha fatto Snowden, e porta via i pesi. A quel punto i modelli ringraziano e dicono che da lì in poi ci pensano loro. Presumere che questa sia la situazione, oggi, mi sembra del tutto opportuno.

Una settimana di autonomia

Per anni ho guardato i prepper americani con un disgusto condiscendente. Adesso ho deciso che è giusto prepararsi a sopravvivere almeno una settimana a un crollo dei sistemi avanzati che usiamo ogni giorno: acqua, scatolame di quello che vi piace mangiare e un po’ di contante, per comprare quello che serve senza usare carte di credito. In Italia non mi sembra che il governo l’abbia detto, ma molti paesi europei lo raccomandano d’ufficio e stanno intensificando il messaggio, dall’Olanda all’Inghilterra, per non parlare degli Stati Uniti.

Non sto scavando un bunker nucleare, e non ho intenzione di imparare a fare l’agricoltore. È un mestiere bellissimo e semplicemente non è il mio. Per questo l’autosufficienza che preparo ha una durata limitata, una settimana, incrociando le dita perché poi le connessioni tornino. Se non succede niente, ho speso poco e al massimo mi sarò reso un po’ ridicolo. Se ho ragione, questa preparazione tornerà utile.

Le domande dei prossimi tre mesi

I cicli di retroazione si accorciano, e nessuno ha ancora deciso chi li governa. Per che cosa conviene prepararsi adesso? Che cosa rende possibile la prossima scoperta? Come preserviamo un accesso ampio? A queste domande ne aggiungo una per chiunque abbia una visione del miglioramento ricorsivo, compresa la mia: che cosa la falsificherebbe?

Per ora mi fermo a questo livello di paranoia. Tra tre mesi vedremo se i fatti mi avranno dato torto, o se sarà il caso di salire di un altro gradino.