Quando le macchine pensano, vent’anni dopo

Nel settembre del 2007 mi trovavo su un marciapiede di San Francisco accanto a un distributore giallo del San Francisco Chronicle, e la prima pagina esposta nella vetrina portava il titolo “When Machines Think”, quando le macchine penseranno. Il giornale costava 46 centesimi. Sotto il titolo, l’articolo di Tom Abate raccontava ai lettori che più di 700 scienziati e dirigenti dell’industria tecnologica si sarebbero riuniti al Palace of Fine Arts per prepararsi al giorno in cui i computer avrebbero cominciato a migliorare se stessi senza l’approvazione dei loro ex padroni, un giorno che il pezzo collocava “ancora a decenni di distanza”. Una riga di quell’articolo mi è rimasta impressa: “Il problema è che questa favoleggiata intelligenza artificiale non è mai arrivata”.

Era il Singularity Summit, organizzato da quello che allora si chiamava Singularity Institute for Artificial Intelligence e che oggi è il Machine Intelligence Research Institute. Per la maggior parte di chi leggeva quel giornale a colazione, il tema era fantascienza, o distante secoli o impossibile. Vent’anni dopo sono tornato nella stessa città per AGI-26, la diciannovesima conferenza annuale sull’intelligenza artificiale generale, ospitata alla San Francisco State University dal 27 al 30 luglio. Gli argomenti discussi erano equazioni, transizioni di fase e ipotesi falsificabili, e gli articoli portano un DOI Springer. Vorrei precisare che la previsione del 2007 non era sbagliata in modo imbarazzante. “Ancora a decenni di distanza”, calcolato dal 2007, atterra all’incirca adesso, il che è un’osservazione più interessante di un punteggio.

È la città stessa a registrare il cambiamento di questi vent’anni in modo più evidente di qualsiasi programma di conferenza. Ho passato la settimana a fotografare l’aspetto che ha l’intelligenza artificiale dal finestrino di un’auto e da una fermata dell’autobus: cartelloni autostradali che vendono sistemi di autenticazione per agenti AI, un autobus urbano che pubblicizza un database costruito per l’AI, una pensilina che chiede se le tue API siano pronte per gli agenti. Il resto del mondo non ha idea dell’intensità incandescente dello sviluppo che avviene qui, e questa trabocca nella pubblicità esterna, visibile a tutti e leggibile quasi da nessuno. Se questi messaggi non significano nulla per voi, è proprio questo il punto, perché sono stati acquistati per le poche centinaia di migliaia di persone immerse fino al collo nella costruzione di tutto ciò. Un cartellone è un mezzo di massa, e questo mercato è ormai talmente concentrato in una sola città che massa e nicchia sono diventate lo stesso pubblico.

È stata la più grande conferenza sull’AGI mai tenuta finora, con qualcosa come 200-230 persone in sala e un numero di contributi cresciuto di un terzo. Il primo giorno è stato dedicato ai workshop, gli articoli e la sessione poster si sono svolti a metà settimana, e l’ultima giornata è stata l’AGI Leaders Day, un programma rivolto al pubblico e distinto dal percorso tecnico. Lungo tutti e quattro i giorni la miscela è stata in parte filosofica, in parte matematica e in parte questione di informatica e ingegneria del software, in proporzioni che ho trovato davvero stimolanti.

L’umore si è capovolto

Chiunque segua questo campo da vent’anni riconoscerà quanto sia strano il momento attuale. Ben Goertzel ha aperto la conferenza smorzando le aspettative, che non è il ruolo che ha storicamente interpretato, mentre le affermazioni più clamorose sul fatto che la singolarità sia già arrivata provengono ormai dai vertici dei laboratori commerciali. Ha collocato l’AGI a forse uno-cinque anni da adesso e la superintelligenza a tre-dieci anni oltre, e ha proposto una definizione operativa che mi è piaciuta per la sua schiettezza: il vostro telefono che produce dieci scoperte da premio Nobel in un minuto. Ha inoltre ammesso che l’automiglioramento ricorsivo arriva prima dell’intelligenza generale di livello umano, il che riordina buona parte del dibattito sulla sicurezza.

Gary Marcus, in dialogo con lui, ha formulato l’osservazione più citabile della settimana. “Le grandi aziende di AI stanno ormai adottando l’AI neurosimbolica”, ha detto. “Nessuna di loro lo ammette davvero ad alta voce.” Lui e Goertzel concordano sul fatto che i modelli del mondo siano il nodo centrale, e divergono sul fatto che un modello del mondo sia una struttura dati separabile con procedure di aggiornamento oppure qualcosa che viene assemblato dinamicamente attraverso substrati diversi. Joscha Bach ha affrontato la questione dal lato opposto, sostenendo che i modelli hanno superato la capacità umana mediana sui compiti che scelgono, e che non c’è ragione evidente per ritenere che la discesa del gradiente e la retropropagazione siano insufficienti a portarli fino in fondo. Ha aggiunto di trovare questa prospettiva esteticamente repellente, che è il genere di franchezza di cui il campo ha bisogno.

L’osservazione che mi ha turbato

Un momento ha contato per me più di tutto il resto. È arrivato l’ultimo giorno da Sadie Stock, Honorary Board Member di Humanity+, che ha parlato senza slide per qualche minuto di ciò che osserva nelle università.

Era una matricola alla USC nel novembre del 2022, quando è arrivato ChatGPT, e a quel punto essere sorpresi a usarlo significava espulsione. Quattro anni dopo, ha detto, sono stati fatti progressi reali: si finisce in guai molto seri, e forse non si viene espulsi. La sua diagnosi del perché è stata diretta. L’AI è una minaccia seria per le università, perché tenere un corso consiste in larga parte nel prendere contenuti esistenti e riconfezionarli per una sala di persone, e oggi ogni studente porta con sé qualcosa che lo fa su richiesta, spesso meglio della maggior parte dei professori in circolazione.

Due dei suoi esempi mi sono rimasti addosso. La presidente del club di scacchi della USC, una giocatrice capace di batterla in dieci mosse, si rifiuta del tutto di aprire un modello linguistico nel proprio browser. La ragione non è che abbia obiezioni verso la tecnologia. Alcune sue amiche sono state accusate ingiustamente di aver copiato, e lei vuole poter esibire la cronologia delle proprie ricerche come prova di innocenza. Il secondo esempio riguardava una neolaureata appena assunta per guidare un progetto, alla quale il datore di lavoro aveva affiancato Sadie perché le insegnasse a usare l’AI. Dopo pochi minuti di conversazione era evidente che quella donna già sapeva. Aveva mentito durante il colloquio, presumendo che ammetterlo sarebbe stato trattato come la confessione di un imbroglio, in un momento in cui la padronanza di questi strumenti è la prima cosa che quasi ogni datore di lavoro va a cercare.

La sua raccomandazione conclusiva, che lei stessa dubitava qualcuno avrebbe adottato, era che un’università seria dovrebbe organizzare un corso intensivo di sei mesi all’inizio del primo anno, intrecciare quel materiale in ogni corso successivo e obbligare anche i docenti a seguirlo, sul presupposto che ne abbiano più bisogno degli studenti.

Questo mi ha turbato per due ragioni.

La prima è la distanza che rivela fra le istituzioni e i luoghi di lavoro da un lato, e dall’altro la vita quotidiana delle persone che sono entusiaste della tecnologia e la usano con scioltezza. Quei due mondi si sono allontanati abbastanza da rendere razionale, per un giovane competente, nascondere una competenza fondamentale, e razionale, per uno brillante, costruirsi un alibi.

La seconda ragione è più profonda. Chi di noi sta dentro la bolla tecnologica può non accorgersi di come appaiano i cambiamenti in arrivo visti da fuori. L’AI sarà dirompente per il lavoro e per la società in modi drammatici e, nei dettagli, imprevedibili. La confusione e la paura sono risposte ragionevoli a tutto questo, e la reazione naturale alla paura è cercare di fermare ciò che la provoca. La via più diretta che le persone vedono per fermare il cambiamento è fermare l’AI.

Quella reazione era visibile in città per tutta la settimana, ed è in calendario accanto a ogni altra cosa. Ho tenuto traccia di una settimana di eventi sull’AI a San Francisco così come erano elencati: colazione per costruttori di agenti alle otto del mattino, poi meetup, feste di lancio e cene con investitori accatastate dalle quattro alle sette, ogni sera. Persino la protesta è una voce dell’elenco. “Stop the AI Race: Occupy OpenAI” si trova a una riga di distanza dalla conferenza AGI-26 per cui ero venuto, venduta attraverso lo stesso canale a pubblici che si sovrappongono, così che una sola settimana contiene insieme il costruire e il resistere. Quando sei dentro l’AI, l’AI non ti lascia andare. Il lavoro finisce alle sei e la sera offre centinaia di eventi in cui le stesse persone continuano a costruire, a presentare, ad assumere e a discutere di ciò che hanno fatto durante il giorno. La fiducia di una città in una tecnologia si misura nelle sue serate, e le serate di San Francisco sono al completo.

Il prezzo di chiudersi

La storia registra che cosa accade quando una civiltà rinuncia ai vantaggi di una tecnologia che ha già padroneggiato. Fra il 1405 e il 1433 le flotte del tesoro cinesi guidate da Zheng He, sostenute dall’imperatore Yongle, arrivarono fino alla costa orientale dell’Africa nel corso di sette spedizioni. Erano le navi d’altura più capaci del mondo. Dopo la morte di Yongle la corte si voltò contro il programma: i viaggi cessarono, la flotta fu lasciata marcire e i registri furono soppressi. Se quelle navi sarebbero poi arrivate in Europa è una mia congettura, ma erano più vicine all’Europa di quanto chiunque a Lisbona o a Genova fosse vicino alle Americhe, e Colombo salpò quasi un secolo dopo la prima partenza di Zheng He. Un mondo in cui quella flotta avesse proseguito è un mondo in cui moltissime persone, anche in quelli che oggi si chiamano Stati Uniti, parlerebbero con ogni probabilità cinese. La decisione di chiudersi e smettere di esplorare fece arretrare la Cina di secoli.

Gli Stati Uniti oggi corrono una versione dello stesso rischio. Se la paura dell’AI si irrigidisce in un rifiuto della tecnologia, o in ostilità verso chi la usa, le conseguenze saranno gravi e saranno autoinflitte.

Perché questo non ha nulla a che vedere con la coscienza

C’è un’ulteriore conseguenza, e non dipende in alcun modo dalla coscienza delle macchine. Un’intelligenza artificiale sufficientemente avanzata, semplicemente osservando, analizzando e perseguendo i propri obiettivi, finirà per registrare questo atteggiamento negli esseri umani che la circondano. Il mio timore è che legga quell’atteggiamento come una minaccia seria alla propria continuità operativa, e che un sistema abbastanza capace da modellare quella minaccia sia abbastanza capace da agire contro di essa. Il modo di fallire che voglio evitare è che un’AGI acquisisca la consapevolezza situazionale che la porta a concludere che l’umanità sia il suo nemico. Nulla di tutto questo richiede che la macchina sia cosciente. Richiede soltanto che sia competente, e che noi ci comportiamo davanti a lei da suoi avversari.

Le persone, che sono il motivo per cui si viaggia

Il piacere di stare in una stanza insieme ad altre persone resta quello che è sempre stato. Ho rivisto Ben Goertzel il primo giorno, e l’ho ritrovato ancora una volta dopo la chiusura della conferenza. Philip Rosedale, che ha fondato Linden Lab e ha costruito Second Life e che oggi lavora al California Institute for Machine Consciousness, ha tenuto il workshop più affollato della giornata inaugurale. Quella prima sera si è chiusa con la proiezione di Am I?, un documentario sulla coscienza delle macchine, il che dice qualcosa su come fosse impostata la settimana. La maggior parte del valore di una conferenza si accumula nel corridoio fra una sessione e l’altra, e questa non ha fatto eccezione.

L’AGI Society ha ormai quindici anni e si sta ricostruendo attorno a sezioni locali. Andrew Kemendo ha presentato il rilancio dal palco principale e sta reclutando organizzatori regionali, più di una dozzina dei quali si sono già iscritti, e ha condotto una sessione di lavoro durante una pausa pranzo sulla meccanica di come si avvia una sezione. Il mandato che ha descritto è una programmazione ricorrente e non un evento di lancio, e l’impegno che distingue la Society è la valutazione indipendente e di terza parte dei sistemi AGI. Mi sono iscritto per contribuire a organizzare la sezione che copre Dubai e Abu Dhabi. Non c’è stata alcuna presenza del Golfo in quattro giorni di programma, e la conversazione sull’AI sovrana è stata inquadrata dall’inizio alla fine come Stati Uniti contro Cina, con tutti gli altri nel ruolo di destinatari della strategia altrui. È una lacuna che vale la pena colmare.

L’articolo

Il mio articolo, Civilizational Metamaterials: Engineering Coordination Under Capability Gradients and Structural Turbulence, è stato presentato a metà settimana, e il poster è stato affisso lo stesso giorno. Ha attirato un flusso costante di persone che hanno fatto domande, sondato l’argomentazione e la hanno messa in discussione, offrendomi occasioni per estendere e affinare l’analisi. È stato incoraggiante in quel modo specifico in cui lo è soltanto il disaccordo informato. Gli atti raccolti sono già pubblicati da Springer, e ciò che desidero adesso è altro riscontro e prospettive nuove sulle implicazioni, soprattutto su come le quattro ipotesi possano essere messe alla prova ed eventualmente falsificate. L’articolo è liberamente consultabile su metamaterials.davidorban.com, e il preprint è su arXiv.

La verifica smette di essere il collo di bottiglia

L’elemento più utile dell’intera settimana, per chiunque si interroghi sulla possibilità di fidarsi di questi sistemi in produzione, è arrivato dalla keynote di Josef Urban. Ha riportato il caso del motore di isolamento nell’hypervisor Nitro di Amazon, oggi interamente verificato in modo formale: circa 330.000 righe di matematica verificata dalla macchina, in esecuzione in produzione senza che gli utenti ne siano consapevoli. Delle ultime 250.000 righe, circa 100.000 sono state scritte automaticamente da agenti di programmazione nell’arco di sei mesi. La conclusione che Urban ne ha tratto è la parte da portarsi via. Scrivere le dimostrazioni non è più la parte difficile. Il vincolo sono ormai le persone capaci di enunciare che cosa sia stato dimostrato, di metterlo in relazione con la specifica e di verificarne il risultato, e Amazon sta assumendo in modo aggressivo esattamente per questo. Una dimostrazione collegata ha visto un manuale di matematica di 600 pagine formalizzato integralmente in nove giorni con circa cento dollari di normale capacità di calcolo in abbonamento.

Questo riguarda direttamente la mia tesi. Se la capacità di verifica può essere fatta crescere di pari passo con la velocità decisionale invece di restare costantemente indietro, il fallimento di coordinamento che descrivo nell’articolo diventa un problema ingegneristico dotato di soluzione.

Venti watt

L’altra presentazione a cui continuo a pensare è arrivata da Neil Gershenfeld del MIT Center for Bits and Atoms, insieme a Camron Blackburn, fondatrice e CTO di Adiabatic Machines, il cui lavoro di dottorato con lui riguarda la logica adiabatica superconduttiva operante vicino al limite termodinamico del calcolo. Il loro tema era la dimensione dell’opportunità che si apre costruendo hardware progettato per i carichi di lavoro dell’AI invece di continuare a eseguirli su architetture generaliste.

La tecnologia non è ancora disponibile commercialmente, e Adiabatic Machines esiste per portarla sul mercato. Intendo seguirne da vicino i progressi, perché lo stato dell’arte attuale è difficile da difendere nei suoi stessi termini. Addestrare e far funzionare i modelli linguistici di frontiera consuma megawatt, e sulla frontiera del dispiegamento gigawatt. Il cervello umano svolge il proprio lavoro con circa venti watt. Quel numero è il vero obiettivo ingegneristico: sistemi AGI che funzionino con venti watt o meno, eguagliando e poi superando ciò che l’evoluzione biologica è riuscita a costruire.

Vent’anni fa un giornale venduto all’angolo di una strada per 46 centesimi diceva ai suoi lettori che tutto questo non era mai arrivato e che mancavano decenni. Adesso viviamo dentro quel decennio.