Verifica più economica, fiducia più preziosa

Nelle ultime settimane ho scritto del rischio tra ghiaccio e gas e del perché ogni progetto ha ancora bisogno di acquirenti. Entrambi i testi trattavano di ciò che possiamo misurare. Questo riguarda la parte di ogni decisione che non possiamo misurare, e ciò su cui ci basiamo per agire comunque.

Iniziare e rilasciare

Per molte persone ci sono due momenti, nella vita di un progetto, particolarmente difficili. Il primo è iniziare. Il secondo è rilasciarlo, che è diverso dal costruirlo. Costruire è un’attività intima: è indulgente, e segue il tuo ritmo e i tuoi vincoli. Rilasciare significa affrontare il mondo a qualunque stadio il progetto sia arrivato, uno stadio che sarà immancabilmente imperfetto, e il mondo non mancherà di fartelo notare con zelo. È anche necessario, perché solo il mondo può darti utenti, riscontri, critiche e, nel caso di un progetto open source, contributi che puoi poi adottare e incorporare.

Entrambi i momenti sono un incontro tra un dentro e un fuori. Lo è anche il momento in cui due persone decidono di lavorare insieme. In ciascuno di essi possiamo valutare tutti i fattori misurabili, cioè quello che ho chiamato rischio: un modello della realtà, una previsione delle sue conseguenze e un confronto con ciò che accade. È importante e non è sufficiente, perché ci saranno sempre cose che non possiamo modellare o non possiamo misurare. Dobbiamo comunque agire, e innescare lo slancio che costruire e rilasciare richiedono.

La fiducia è il salto

Il divario tra il rischio misurabile e le componenti imponderabili di una decisione è colmato dalla fiducia. Senza di essa saremmo soli, che l’organizzazione che stiamo costruendo sia fatta di due persone o di migliaia, e non sarebbe affatto altrettanto divertente.

La fiducia conta soprattutto nel primissimo momento, prima che esista un qualsiasi precedente su cui basarsi. Io sono una di quelle persone che all’inizio ripongono deliberatamente nell’altro più fiducia di quanta sarebbe necessaria, o persino ragionevole. Lo faccio perché il primo atto di fiducia dà forma a tutto ciò che segue, e una fiducia generosa all’inizio rende il lavoro comune più fluido e più rapido. Poi il ciclo si mette in moto: ci apriamo, verifichiamo le conseguenze, chiudiamo il ciclo e lo riapriamo. Ogni ciclo completato conferma la fiducia o la revoca. Questo accade ogni giorno a ogni scala, tra due fondatori, all’interno delle grandi aziende e tra le nazioni, mentre competono e cooperano.

La fiducia può anche essere mal riposta, in due modi diversi. Gli interessi possono divergere, e una parte può cercare di catturare tutto il valore, possibilmente senza che le altre se ne accorgano. Oppure può non esserci alcuna malizia, solo errori o incompetenza, e l’altra parte semplicemente non riesce a consegnare quanto concordato. Ognuno di noi li ha sperimentati entrambi.

Che cosa cambia l’IA

Per come la vedo io, l’IA rende la verifica economica. Abbassa radicalmente il costo di misurare a posteriori che cosa è successo, e quindi di stabilire se un dato atto di fiducia era ben riposto. Ciò che si può controllare ha sempre meno bisogno di fiducia. Ciò che resta, e che diventa più scarso e più prezioso di prima, è tutto quello che non possiamo controllare: l’intenzione dell’altra parte e il suo comportamento futuro. La fiducia serve per meno cose, e ciascuna di esse conta di più.

Gli stessi strumenti di IA, usati in modo improprio, contraffanno i segnali su cui ci basiamo per decidere di chi fidarci, da un documento falsificato in una transazione fino a identità false, valori falsi e intenzioni false. Ricevo un messaggio come questo almeno un paio di volte al mese: *Ciao papà, questo è il mio nuovo numero, ho perso il telefono, mi servono urgentemente mille euro, per favore mandameli.* Una persona impreparata può farsi prendere dal panico al punto da cascarci. Una più preparata si prende un momento, si chiede quanto sia probabile e verifica, con qualcosa che il truffatore non può sapere oppure, in aggiunta, attraverso un secondo canale.

Il canale aggiuntivo è proprio ciò che quest’anno ha ceduto su una scala molto più grande. Fideuram, la divisione di private banking di Intesa Sanpaolo, ha perso 95 milioni di euro dopo che il suo presidente aveva ricevuto un messaggio WhatsApp che sembrava provenire dall’amministratore delegato del gruppo, seguito da una telefonata in cui la voce di un avvocato di primo piano, clonata con l’IA, confermava l’istruzione. I bonifici sono andati soprattutto verso conti in Cina e a Hong Kong. Ne sono stati recuperati circa 53 milioni, e ne mancano ancora circa 36. Il canale di conferma era stato contraffatto insieme al primo. Man mano che la fiducia diventa più preziosa, gli errori nei nostri rapporti di fiducia più preziosi diventano più costosi, e dovremo usare la stessa IA per proteggerli.

Quando gli strumenti della fiducia la riducono

Da agosto l’articolo 50 dell’AI Act europeo impone ai fornitori di contrassegnare i contenuti generati dall’IA, e il 5 ottobre OpenAI ha annunciato che aggiungerà filigrane invisibili ai testi di ChatGPT nell’Unione europea, unendosi a Google e Anthropic, che già contrassegnano i propri. Molte persone ne sono contrariate, e capisco perché. Si sentono tracciate ed etichettate, e ritengono che i loro contenuti siano loro, a prescindere dagli strumenti usati per produrli.

I legislatori volevano impedire i falsi generati dall’IA. Quello che stanno facendo, invece, è inquinare l’ambiente informativo con un’etichetta che non può essere universale. Io faccio tutto con l’IA, quindi per me l’etichetta è meritatissima e non sorprende nessuno che mi conosca. Molti altri verranno colti di sorpresa, in un momento in cui un gruppo polarizzato vede l’IA come positiva e un gruppo ampio la vede come negativa. Le soluzioni pensate per impedire che l’IA riduca la fiducia, paradossalmente, la stanno riducendo, e avremo bisogno di qualcosa che raggiunga meglio il loro obiettivo.

La pressione non potrà che crescere. I modelli video sanno già generare un personaggio umano capace di conversare che molti non riescono a distinguere da una persona nel corso di una breve chiamata, e presto la chiamata durerà un’ora. O accettiamo che molte delle persone che incontriamo in video saranno IA, oppure troviamo modi per riconoscere chi è umano, e a quel punto ciascuno di noi deciderà se fidarsi delle IA meno che degli esseri umani, altrettanto o, per alcuni, di più.

Contratti, piattaforme e agenti

Una persona che partecipava alla nostra conversazione, e che in passato amministrava contratti, ha descritto la parte più difficile di quel lavoro: convincere i colleghi a fidarsi di lui, assicurandosi però che insieme alle carte non gli consegnassero anche la propria autonomia decisionale. Dicevano che lui aveva letto il contratto e che lo aveva letto anche l’IA, quindi dovevano essere a posto. La sua risposta era che il proprio accordo dovevano comunque leggerlo loro.

Sono d’accordo che la decisione debba restare all’essere umano. Aggiungerei che i contratti sono quasi universalmente un abuso della fiducia necessaria per sottoscriverli. Non conosco una sola persona che legga una polizza assicurativa, un contratto di conto corrente o un mutuo dall’inizio alla fine, clausole in piccolo comprese, e non ho mai incontrato un impiegato di banca che dicesse: si prenda tre ore, signore, io aspetto. Ti fanno passare con un cenno e ti dicono di non preoccuparti. In questo caso l’IA riequilibra il rapporto. Per quanti errori possa fare analizzando un contratto di mutuo, quegli errori sono irrilevanti rispetto alla totale ignoranza delle clausole che comporta firmare alla cieca. Affida ogni accordo alla tua IA e chiedile se contiene qualcosa di strano, se qualcosa dovrebbe preoccuparti e che cosa dovresti contestare. Spesso qualcosa ci sarà.

Conta anche quale IA interroghi. I modelli sono addestrati e istruiti in modo diverso, e più i tuoi strumenti e i tuoi agenti sanno di te, meglio ti servono. È una ragione per esportare ciò che hai dato loro, periodicamente e con la massima granularità disponibile, sia per verificarne la coerenza sia per poter passare a un altro strumento senza ricominciare da zero. Sono piuttosto ossessivo nell’esportare i miei dati da ogni piattaforma, perché non credo che le piattaforme meritino la nostra fiducia. Forniscono valore, e tengono più a se stesse che a qualsiasi singolo utente.

Mi piacerebbe sapere che cosa pensano di noi le piattaforme. Sospetto che gli esseri umani le terrorizzino un po’. Vogliamo usarle senza vincoli, per qualsiasi scopo o idea ci venga in mente, e allo stesso tempo vogliamo che fermino i comportamenti criminali, che è la richiesta opposta. Il rapporto era complesso già quando le piattaforme erano passive. Ora che ogni piattaforma sta diventando agentica, sarà più difficile da decifrare da entrambe le parti: per noi, capire in che tipo di rapporto ci troviamo, e per loro, comprendere il comportamento umano ancora più a fondo.

Fidarsi della fabbrica

La stessa domanda ritorna, più acuta, quando gli agenti il lavoro lo svolgono invece di leggerlo. Un team con cui lavoro sta sperimentando una fabbrica del software: agenti che prendono un compito, scrivono il codice, aprono una pull request, la testano e la integrano. Con regole rigide, l’agente ha rifiutato ogni singola pull request, quelle corrette insieme a quelle difettose, e continuava a chiedere la revisione di un essere umano. Con regole più permissive le ha accettate quasi tutte. Nessuna delle due impostazioni è fiducia. Chiedere a un essere umano di leggere il codice perché l’agente si senta abbastanza sicuro da integrarlo riporterebbe esattamente il collo di bottiglia che la fabbrica esiste per eliminare. La risposta migliore è un ulteriore livello di controllo: i test verificano il codice, e un verificatore controlla se la decisione di accettare o rifiutare era corretta, rimandando indietro il lavoro quando non lo era.

Ciò che decidiamo di tenere per noi segue la linea tra ciò che si può controllare e ciò che non si può. Un bug significa che un utente non riesce a fare qualcosa che si aspettava di poter fare, quindi l’aspettativa esiste già, la correzione può essere verificata rispetto a essa e la fabbrica può gestirla da sola. Una richiesta di funzionalità chiede qualcosa che nessuno si aspettava, e accettarla cambia la direzione del prodotto. Chi ama un’interfaccia affollata continuerà a chiedere di riportare ogni opzione nella pagina principale, e chi è responsabile del design deve essere libero di dire di no. L’intenzione resta agli esseri umani.

Che cosa succede quando la fabbrica commette un errore abbastanza grave da farci perdere fiducia in essa, e da costringerci a rimettere in discussione tutto ciò che ha fatto? La fiducia era necessaria fin dall’inizio proprio perché c’erano cose che non avevamo previsto e non potevamo modellare. Quando emerge un errore sistematico, lo analizziamo, evitiamo che si ripeta e miglioriamo il nostro modello del rischio, sapendo che non abbiamo eliminato il bisogno di fiducia, l’abbiamo solo spinto più in là. È la stessa cosa che fanno due persone quando smettono di discutere ogni clausola, firmano l’accordo e cominciano a lavorare insieme, per scoprire se la loro fiducia era ben riposta. Non vedo alcuna versione del futuro in cui decidiamo che gli ultimi dieci anni di fiducia crescente nell’IA siano stati un errore e costruiamo il mondo senza di essa.

Chi è più avanti nello sviluppo dell’IA procede lungo lo stesso percorso, con cautela. Ad agosto Anthropic ha riferito che Claude guida il 26% del proprio lavoro di ricerca e sviluppo sull’IA, rispetto a meno dell’1% di febbraio, mentre nessuna parte di quel lavoro si svolge in modo completamente autonomo. In Anthropic sono ancora gli esseri umani a decidere che cosa valga la pena fare. Ogni ciclo completato amplia ciò che si affida agli agenti, e l’ultima cosa che verrà loro affidata è la scelta del lavoro stesso.

Il bisogno di fiducia è destinato a restare

Gli aggressori conoscono il ciclo della fiducia bene quanto chiunque altro. Un articolo di Microsoft Research ha sostenuto che le famose email truffa sono rozze di proposito: l’inglese stentato filtra tutti coloro che più avanti smaschererebbero la truffa, così che rispondano solo i bersagli più promettenti. Le operazioni sofisticate, comprese quelle che collocano lavoratori nordcoreani in impieghi occidentali sotto false identità, sono pazienti. Completano il primo ciclo di fiducia, accettano responsabilità crescenti man mano che l’organizzazione gliele concede, e solo allora alzano la posta.

Niente di tutto questo rende il salto facoltativo. È matematicamente garantito che i nostri modelli lasceranno sempre fuori cose che non possiamo misurare, e se vogliamo agire e creare dovremo fare un atto di fede. Di recente mi ha colpito un’osservazione sulle elezioni democratiche: la parte che perde consegna il potere a coloro che fino al giorno prima erano i suoi nemici, confidando di non essere uccisa, che i suoi diritti e le sue proprietà saranno rispettati e che fra qualche anno potrà ricandidarsi e vincere. Giudicato con il metro di rapporti di potere più antichi e meno illuminati, sembra quasi assurdo. È un ciclo di fiducia che un’intera società accetta di percorrere, ancora e ancora.

Dobbiamo quindi essere creativi e inventivi riguardo alla fiducia, e usarla ogni giorno in ciò che crea la società di oggi, perché resti parte della società di domani. Una comunità è uno dei luoghi in cui esercitarla. Il nostro gruppo di Ikigai Collective percorre quel ciclo ogni giovedì: le persone si aprono, ripongono fiducia le une nelle altre e tornano la settimana successiva per vedere se ha retto.