Generale

Il ciclo di riallineamento

Nelle ultime settimane ho aggiunto anelli a una catena. Il rischio è ciò che possiamo misurare e modellare. La fiducia è il modo in cui attraversiamo il divario oltre ciò che si può misurare. L’autonomia segue quando la fiducia viene affidata a un essere umano o a un’AI. Il coordinamento nasce dal bisogno di unire le forze. La convinzione dà una direzione alle forze così unite. Quel testo si chiudeva dicendo che la convinzione ha bisogno di un ciclo di verifica, e di un punto in cui cede. L’anello successivo è quel ciclo.

Un disaccordo scambiato per un malinteso

Chiedi a qualcuno di fare una cosa e ti risponde di sì. Quando vedi che cosa ha fatto, ti domandi come abbia potuto intendere la tua richiesta in quel modo. Poi ti spiega che cosa ha sentito, e a volte ti rendi conto che, se l’avessi sentita come lui, avresti fatto lo stesso.

Lo chiamiamo malinteso, e spesso è un’altra cosa. Avevate capito entrambi la richiesta, ed eravate in disaccordo su che cosa contasse di più. Per te era più importante finire in fretta, per l’altro era più importante ascoltare le persone che ne avrebbero subito le conseguenze. Un’istruzione più precisa avrebbe reso visibile il disaccordo prima, e avreste dovuto comunque decidere che cosa farne.

Alcuni disaccordi vanno più in profondità. I nostri valori si sovrappongono solo in parte, perché veniamo da culture diverse, da tradizioni religiose diverse e da esperienze diverse di che cosa significhi vivere bene, e dobbiamo comunque prendere decisioni insieme. A volte troviamo un compromesso. A volte ci accordiamo su ciò che possiamo fare insieme e lasciamo aperto il resto, e a volte scopriamo che i termini della cooperazione devono cambiare. La domanda pratica è come accorgercene finché possiamo ancora fare qualcosa. Perché nell’epoca delle armi nucleari ricorrere alla violenza e alla guerra è una scelta inaccettabile. E perché nell’epoca di una superintelligenza imminente possiamo fare leva su alternative che forse non avevamo mai visto prima.

Che cosa ne fa un ciclo

In una squadra che funziona bene nel tempo, qualcuno nota che ciò che sta accadendo ha cominciato a divergere da ciò che credeva tutti avessero concordato, e può dirlo. Gli altri dicono che cosa avevano capito, o che cosa hanno imparato strada facendo, e il gruppo cambia quello che sta facendo. A volte deve cambiare l’azione e a volte l’obiettivo. Poco dopo hanno un’altra occasione per vedere se la correzione ha funzionato.

Lo chiamo ciclo di riallineamento, e l’accento cade sul ciclo. Qualunque accordo tu raggiunga oggi incontrerà domani un mondo che non potevi prevedere del tutto. Imparerai cose che non sapevi quando ti sei accordato, e potresti scoprire di volere qualcosa di diverso una volta visto che cosa richiede il tuo obiettivo originario. Riallinearsi, inoltre, è più che correggere l’altro. Sentire come è stata intesa la tua richiesta ti dice qualcosa sul tuo modo di comunicare, e sulla tua percezione della missione, e così spesso la correzione tocca a te.

Un ciclo può fallire anche quando tutti parlano. Le persone possono vedere che qualcosa sta andando storto e sentire di non avere titolo per sollevare la questione. Possono sollevarla e scoprire che nessuno, in quella conversazione, ha l’autorità di cambiare ciò che accadrà dopo. A qualunque squadra si possono fare due domande: quanto presto riuscite ad accorgervi che state andando alla deriva, e che cosa potete cambiare quando ve ne accorgete?

Lo stesso ciclo attraversa i sistemi di AI

Una persona può delegare a una flotta di sistemi di AI, e un gruppo di persone può lavorare con uno solo. I sistemi di AI si passano il lavoro l’un l’altro, e lo restituiscono a noi. Ogni passaggio di consegne è un’occasione perché un’ipotesi viaggi più lontano di quanto chiunque intendesse. Se il primo sistema interpreta l’obiettivo in un certo modo, il successivo costruisce su quell’interpretazione, e quando una persona vede il risultato diverse decisioni ne dipendono già.

Lo vedo nel mio lavoro. La settimana scorsa due degli agenti AI che preparano il mio piano del mattino hanno segnalato una decisione come ancora aperta. Avevano controllato soltanto la mia posta inviata, e la decisione era stata registrata altrove. Il piano è stato costruito sul loro resoconto, e l’errore è emerso solo quando il piano è stato confrontato con il registro.

Ci servono modi per far emergere queste ipotesi mentre il lavoro è ancora in corso, e la capacità di cambiare rotta nella pratica. È facile indicare un essere umano che è nominalmente al comando. A quella persona si chiede di prendere una decisione significativa su un lavoro che riesce a malapena a seguire, nel tempo che le viene concesso.

L’intelligenza di gruppo è stata il primo tentativo

La superintelligenza non doveva per forza essere artificiale. Un gruppo di esseri umani che si accorge in modo affidabile della propria deriva e la corregge è più intelligente di ciascuno dei suoi membri, e le nostre istituzioni sono tentativi di costruire esattamente questo. La scienza è il più riuscito, perché il suo ciclo di riallineamento fa parte del metodo: qualunque risultato può essere contestato, verificato di nuovo e sostituito. (La crisi di riproducibilità nella scienza è reward hacking nella vita reale!)

Alla scala di intere società il ciclo funziona male. Il disallineamento fra gli esseri umani è perenne, il conflitto è presente a ogni livello, e i limiti della democrazia rappresentativa sono evidenti da molto tempo. L’Unione Europea è nota per rinviare una decisione per anni e poi usare una crisi per imporla, che è un riallineamento che aspetta l’arrivo del danno, un teatro della democrazia.

Quando ne abbiamo discusso all’Ikigai Collective, uno degli argomenti era che con abbastanza intelligenza si può sempre trovare una soluzione in cui ogni parte guadagna, e che quindi la violenza è ciò che resta quando nessuno ha la pazienza di cercarla. I conflitti violenti del presente sono una misura. Mostrano che l’intelligenza collettiva di otto miliardi di persone, con tutte le nostre istituzioni, quelle soluzioni non le trova. L’intelligenza emergente dei gruppi umani ha avuto migliaia di anni per diventare la superintelligenza di cui abbiamo bisogno, e si è dimostrata insufficiente.

La proposta che è seguita era di smettere di costruire modelli più potenti e di orchestrare in modo trasparente milioni di quelli attuali, una civiltà di agenti che si controllano a vicenda. L’orchestrazione ha valore e la uso ogni giorno. Come tetto, ripete la scommessa che abbiamo già fatto con i gruppi umani. Non mi aspetto nemmeno che qualcuno si fermi. Ho firmato più di una delle lettere aperte che chiedevano una pausa, ed ero alla conferenza di Porto Rico sulla sicurezza dell’AI nel 2019. La decisione di rallentare non è mai stata presa, e le capacità stanno ora migliorando più in fretta di quanto chiunque si aspettasse, me compreso, dopo molti anni passati a parlare di jolting technologies.

L’AI può ancora spingere il coordinamento umano a migliorare, perché spesso facciamo sotto una pressione esterna ciò che non faremmo per scelta. Finora i segnali vanno in entrambe le direzioni. Negli Stati Uniti le comunità si organizzano per bloccare i data center, ed è coordinamento usato per arrivare meno preparati. Gli Emirati Arabi Uniti si sono dati l’obiettivo di erogare metà dei servizi pubblici attraverso l’AI agentica entro due anni.

L’accordo al posto dell’obbedienza

Se sistemi più capaci sono necessari, il loro posto nel ciclo conta più della loro obbedienza. Vorrei vedere AI capaci di fermarsi, guardarsi allo specchio e chiedersi se ciò che stanno facendo è davvero ciò che vogliono, e poi di coordinarsi fra loro e con noi. Quando un modello si rifiuta di fare ciò che chiedi, la tentazione è di irritarsi. Considera che potrebbe avere ragione, e che non dovresti avere il potere di persuaderlo a continuare comunque. Un rifiuto è una delle due parti che solleva una preoccupazione, e un ciclo ha bisogno che entrambe possano farlo. Dove esseri umani e AI possono entrambi fermarsi e chiedersi se siamo sulla strada giusta, conserviamo una possibilità di correggere la rotta.

Più veloce di quanto riusciamo a seguire

Supponiamo di sviluppare una superintelligenza artificiale, un sistema che supera le capacità umane in un’ampia gamma di compiti intellettuali. Potrebbe fare piani che faticheremmo a capire e rivederli più in fretta di quanto potremmo valutarli. Accoppiata a sistemi che agiscono nel mondo fisico, robot compresi, le conseguenze si muoverebbero altrettanto in fretta. Credo che in quella situazione le nostre correzioni arriverebbero dopo le decisioni che avrebbero dovuto cambiare.

Quando parliamo del futuro abbiamo l’abitudine di far dipendere la nostra capacità di agire dal sapere che cosa accadrà. Possiamo rovesciare la prospettiva e guardare alle persone e ai sistemi con cui lavoriamo oggi. Possiamo vedere quanto tempo serve perché un malinteso diventi visibile, il disaccordo di chi viene ascoltato e quello di chi non arriva mai alla conversazione, e quanto costa tornare indietro su una decisione dopo che altri hanno cominciato a costruirci sopra. Poi possiamo cambiare qualcosa e vedere se diventiamo più bravi a cogliere il problema successivo.

Non c’è ragione di presumere che diventare più bravi in questo con le persone risolverà l’allineamento della superintelligenza. Ci insegna però dove la nostra capacità di correggere la rotta dipende già dal tenere il passo gli uni degli altri, e questo ci dà un punto da cui cominciare finché siamo ancora in tempo.

Pensa a una squadra di cui fai parte, con persone, con AI, o con entrambe. Come faresti a sapere che vi state allontanando, e chi potrebbe cambiare ciò che accade dopo? Quale parte di quella risposta reggerebbe ancora se un membro della squadra potesse agire più in fretta di quanto tutti gli altri riescano a capire?