Amikor a gépek gondolkodnak, húsz évvel később

2007 szeptemberében egy San Franciscó-i járdán álltam egy sárga San Francisco Chronicle újságautomata mellett, és a kirakatában látszó címlapon ez a főcím szerepelt: “When Machines Think”, amikor a gépek gondolkodnak. Az újság 46 centbe került. A főcím alatt Tom Abate cikke arról tudósította az olvasókat, hogy több mint 700 tudós és technológiai vezető gyűlik össze a Palace of Fine Artsban, hogy felkészüljenek arra a napra, amikor a számítógépek egykori gazdáik jóváhagyása nélkül kezdik el fejleszteni önmagukat, egy napra, amelyet a cikk “még évtizedekre” tett. Egy mondata azóta is velem maradt: “A baj csak az, hogy ez a mesebeli mesterséges intelligencia soha nem következett be.”

Ez volt a Singularity Summit, amelyet az akkori Singularity Institute for Artificial Intelligence szervezett, a mai Machine Intelligence Research Institute. Azok többsége számára, akik reggeli mellett olvasták azt az újságot, a téma tudományos fantasztikum volt, vagy évszázadokra, vagy sohára. Húsz évvel később ugyanabba a városba tértem vissza az AGI-26 kedvéért, ez az általános mesterséges intelligenciáról szóló tizenkilencedik éves konferencia, amelyet a San Francisco State University adott otthont július 27. és 30. között. Az ott elhangzó érvek egyenletek, fázisátmenetek és cáfolható hipotézisek voltak, a tanulmányok pedig Springer DOI-t viselnek. Szeretném megjegyezni, hogy a 2007-es előrejelzés nem kínos módon tévedett. A “még évtizedekre”, 2007-től számítva, nagyjából most ér földet, ami érdekesebb megfigyelés egy végeredménynél.

Magának a városnak a képe világosabban rögzíti ezt a húsz évet, mint bármelyik konferenciaprogram. A hetet azzal töltöttem, hogy lefényképeztem, hogyan néz ki a mesterséges intelligencia egy autó ablakából és egy buszmegállóból: autópálya menti óriásplakátok, amelyek AI-ügynökökhöz való hitelesítést árulnak, egy városi busz, amely AI-hoz épített adatbázist hirdet, egy buszváró, amely azt kérdezi, készen állnak-e az API-jaid az ügynökökre. A világ többi részének fogalma sincs az itt zajló fejlesztés izzó intenzitásáról, és ez átcsordul a köztéri reklámba, amely mindenki számára látható és szinte senki számára nem olvasható. Ha ezek az üzenetek semmit nem jelentenek önnek, éppen ez a lényeg, mert arra a néhány százezer emberre vásárolták őket, akik nyakig benne vannak ennek az építésében. Az óriásplakát tömegmédium, ez a piac pedig mostanra annyira egyetlen városba sűrűsödött, hogy a tömeg és a rétegközönség ugyanazzá a közönséggé vált.

Ez volt az eddigi legnagyobb AGI-konferencia, nagyjából 200 és 230 közötti résztvevővel a teremben, és egyharmaddal több beadott dolgozattal. Az első nap a műhelyeké volt, a tanulmányok és a poszterszekció a hét közepére estek, az utolsó nap pedig az AGI Leaders Day volt, egy a nagyközönségnek szóló program, amely elkülönült a szakmai sávtól. Mind a négy napon a keverék részben filozófiai, részben matematikai, részben pedig számítástudományi és szoftvermérnöki volt, olyan arányokban, amelyeket őszintén ösztönzőnek találtam.

A hangulat megfordult

Aki két évtizede követi ezt a területet, felismeri, mennyire különös a mostani pillanat. Ben Goertzel úgy nyitotta meg a konferenciát, hogy tompította a várakozásokat, ami történetileg nem az ő szerepe volt, miközben a leghangosabb állítások arról, hogy a szingularitás már megérkezett, mostanra a kereskedelmi laboratóriumok vezetőitől érkeznek. Az AGI-t talán egy-öt évre tette innen, a szuperintelligenciát pedig további három-tíz évre, és adott egy működési meghatározást, amelyet nyerseségéért kedveltem: a telefonod egy perc alatt tíz Nobel-díjas felfedezést tesz. Elismerte azt is, hogy a rekurzív önfejlesztés hamarabb érkezik meg, mint az emberi szintű általános intelligencia, ami a biztonsági vita jó részét átrendezi.

Gary Marcus a vele folytatott beszélgetésben fogalmazta meg a hét legidézhetőbb megfigyelését. “A nagy AI-cégek mostanra elfogadják a neuroszimbolikus AI-t” mondta. “Egyikük sem ismeri ezt be hangosan.” Goertzellel egyetértenek abban, hogy a világmodellek jelentik a lényegi kérdést, és abban térnek el, hogy a világmodell frissítési eljárásokkal rendelkező, elkülöníthető adatszerkezet-e, vagy inkább valami, ami dinamikusan áll össze különböző hordozókon keresztül. Joscha Bach a másik oldalról közelített, azt állítva, hogy a modellek az általuk választott feladatokon átlépték a medián emberi képességet, és nincs nyilvánvaló ok azt gondolni, hogy a gradiensereszkedés és a hibavisszaterjesztés ne vinné őket végig az út hátralévő részén. Hozzátette, hogy ezt esztétikailag visszataszítónak tartja, és éppen ilyen őszinteségre van szüksége a területnek.

A megjegyzés, amely nyugtalanított

Egyetlen pillanat többet jelentett számomra mindennél. Az utolsó napon hangzott el Sadie Stocktól, a Humanity+ tiszteletbeli testületi tagjától, aki diák nélkül, néhány percben beszélt arról, amit az egyetemeken lát.

2022 novemberében, amikor a ChatGPT megjelent, elsőéves volt a USC-n, és akkoriban a használatán való rajtakapás kizárást jelentett. Négy évvel később, mondta, valódi előrelépés történt: nagyon komoly bajba kerül az ember, és talán nem zárják ki. A miértre adott diagnózisa egyenes volt. Az AI komoly fenyegetés az egyetemekre, mert egy kurzus megtartása jórészt abból áll, hogy meglévő tartalmat veszünk és újracsomagolunk egy teremnyi ember számára, márpedig ma minden hallgató olyasmit hord magánál, ami ezt kérésre megteszi, gyakran jobban, mint a legtöbb professzor bárhol.

Két példája bennem ragadt. A USC sakk-klubjának elnöke, egy játékos, aki tíz lépésben megveri őt, egyáltalán nem hajlandó megnyitni egy nyelvi modellt a böngészőjében. Nem azért, mert kifogása lenne a technológia ellen. Barátnőit igazságtalanul vádolták meg csalással, és ő szeretné tudni felmutatni a saját keresési előzményeit az ártatlansága bizonyítékaként. A második példa egy frissen végzett nőről szólt, akit épp egy projekt vezetésére vettek fel, és akihez a munkáltatója azért hívta oda Sadie-t, hogy megtanítsa neki az AI használatát. Néhány perc beszélgetés után nyilvánvaló volt, hogy az illető már tudja. Hazudott az állásinterjún, abból kiindulva, hogy ennek beismerését csalás bevallásaként kezelnék, olyan pillanatban, amikor ezeknek az eszközöknek az ismerete az első dolog, amit a legtöbb munkáltató keres.

Záró javaslata, amelyről maga is kételkedett, hogy bárki megfogadná, az volt, hogy egy komoly egyetem hat hónapos intenzív kurzust tartana az első év elején, az anyagot beleszőné minden későbbi tárgyba, és az oktatókat is kötelezné a részvételre, azon az alapon, hogy nekik nagyobb szükségük van rá, mint a hallgatóknak.

Ez két okból nyugtalanított.

Az első az a távolság, amelyet feltár egyfelől az intézmények és a munkahelyek, másfelől azoknak az embereknek a mindennapi élete között, akik lelkesednek a technológiáért és gördülékenyen használják. Ez a két világ annyira eltávolodott egymástól, hogy egy hozzáértő fiatal számára ésszerűvé vált egy alapvető készség eltitkolása, egy kiváló számára pedig az, hogy alibit építsen magának.

A második ok mélyebbre nyúlik. Akik a technológiai buborékon belül vagyunk, könnyen nem vesszük észre, hogyan festenek az előttünk álló változások kívülről. Az AI drámai és részleteiben kiszámíthatatlan módon lesz zavaró a munka és a társadalom számára. A zavarodottság és a félelem ésszerű válaszok erre, a félelemre adott természetes reakció pedig az, hogy megpróbáljuk megállítani azt, ami okozza. A legközvetlenebb út, amelyet az emberek a változás megállítására látnak, az AI megállítása.

Ez a reakció egész héten látható volt a városban, és ott van a naptárban minden más mellett. Feljegyeztem egy hét San Franciscó-i AI-eseményeit úgy, ahogyan meghirdették őket: reggel nyolckor reggeli ügynöképítőknek, majd meetupok, bemutatóbulik és befektetői vacsorák négytől hétig egymásra torlódva, minden este. Még a tiltakozás is egy tétel a listán. A “Stop the AI Race: Occupy OpenAI” egyetlen sorral arrébb található attól az AGI-26 konferenciától, amelyért érkeztem, ugyanazon a csatornán át hirdetve, egymást átfedő közönségeknek, úgyhogy egyetlen hét fogja össze az építést és az ellenállást. Ha egyszer az AI-ban vagy, az AI nem enged el. A munka hatkor véget ér, az este pedig több száz eseményt kínál, ahol ugyanazok az emberek tovább építenek, pitchelnek, toboroznak és vitatkoznak arról, amit napközben csináltak. Egy város hitét egy technológiában az estéin lehet lemérni, és San Francisco estéi teltházasak.

A befelé fordulás ára

A történelem rögzíti, mi történik, amikor egy civilizáció lemond egy általa már elsajátított technológia előnyeiről. 1405 és 1433 között a Zheng He vezette kínai kincsflották, a Jung-lo császár támogatásával, hét expedíció során egészen Afrika keleti partjáig eljutottak. A világ legalkalmasabb óceánjáró hajói voltak. Jung-lo halála után az udvar szembefordult a programmal: az utazások abbamaradtak, a flottát hagyták elkorhadni, a feljegyzéseket pedig elnyomták. Hogy azok a hajók eljutottak volna-e Európába, az az én feltevésem, de közelebb voltak Európához, mint bárki Lisszabonban vagy Genovában Amerikához, és Kolumbusz csaknem egy évszázaddal Zheng He első indulása után szállt vízre. Egy olyan világ, amelyben az a flotta folytatja, olyan világ, ahol rengetegen, abban is, amit ma Egyesült Államoknak hívunk, minden bizonnyal kínaiul beszélnének. Az a döntés, hogy befelé fordulnak és felhagynak a felfedezéssel, évszázadokkal vetette vissza Kínát.

Az Egyesült Államok ma ugyanennek a kockázatnak egy változatát futja. Ha az AI-tól való félelem a technológia elutasításába vagy az azt használó emberekkel szembeni ellenségességbe merevedik, a következmények súlyosak lesznek, és önmagunknak okozzuk őket.

Miért nincs ehhez semmi köze a tudatnak

Van egy további következmény, és ez semmilyen formában nem függ a gépi tudattól. Egy kellően fejlett mesterséges intelligencia pusztán azzal, hogy megfigyel, elemez és követi a céljait, előbb-utóbb rögzíti ezt a hozzáállást a körülötte lévő emberekben. Az aggodalmam az, hogy ezt a hozzáállást a saját további működésére nézve komoly fenyegetésként olvassa, és hogy egy rendszer, amely elég képes a fenyegetés modellezéséhez, elég képes ahhoz is, hogy fellépjen ellene. Az a kudarcmód, amelyet el akarok kerülni, az, hogy egy AGI olyan helyzetfelismerésre tesz szert, amely alapján arra a következtetésre jut, hogy az emberiség az ellensége. Mindehhez nem szükséges, hogy a gép tudatos legyen. Csupán az szükséges, hogy hozzáértő legyen, mi pedig előtte az ellenfeleként viselkedjünk.

Az emberek, akikért utazni érdemes

Az az öröm, hogy emberekkel egy térben lehetünk, ugyanaz maradt, ami mindig is volt. Az első napon újra találkoztam Ben Goertzellel, és a konferencia zárása után még egyszer összefutottunk. Philip Rosedale, aki a Linden Labot alapította és a Second Life-ot építette, ma pedig a California Institute for Machine Consciousness munkatársa, a nyitónap leglátogatottabb műhelyét tartotta. Az az első este az Am I? című, gépi tudatról szóló dokumentumfilm vetítésével zárult, ami elárul valamit arról, hogyan volt hangolva a hét. Egy konferencia értékének nagy része a szekciók közötti folyosón gyűlik össze, és ez sem volt kivétel.

Az AGI Society tizenöt éves, és helyi tagozatok köré építi újjá magát. Andrew Kemendo a nagyszínpadról ismertette az újraindítást, és regionális szervezőket toboroz, akik közül több mint egy tucat már jelentkezett, egy ebédszünetben pedig munkaülést tartott arról, hogyan indul el egy tagozat. A mandátum, amelyet leírt, visszatérő programsorozat és nem nyitóesemény, a Society megkülönböztető vállalása pedig az AGI-rendszerek független, harmadik fél általi értékelése. Jelentkeztem, hogy segítsek megszervezni a Dubajt és Abu-Dzabit lefedő tagozatot. Négy nap programjában egyáltalán nem volt öbölbeli jelenlét, a szuverén AI-ról szóló beszélgetést pedig végig Egyesült Államok kontra Kína keretben tárgyalták, ahol mindenki más mások stratégiájának címzettje. Ezt a hiányt érdemes betölteni.

A tanulmány

A tanulmányomat, Civilizational Metamaterials: Engineering Coordination Under Capability Gradients and Structural Turbulence, a hét közepén mutattam be, és a poszter ugyanaznap került ki. Folyamatosan érkeztek hozzá emberek, akik kérdeztek, feszegették és vitatták az érvelést, ezzel alkalmat adva az elemzés kiterjesztésére és finomítására. Ez abban a sajátos értelemben volt bátorító, ahogyan csak a tájékozott ellenvélemény tud az lenni. A gyűjteményes kötetet a Springer már megjelentette, és amit most szeretnék, az további visszajelzés és friss nézőpont a következményekről, mindenekelőtt arról, hogyan lehet a négy hipotézist próbára tenni és végül cáfolni. A tanulmány szabadon olvasható a metamaterials.davidorban.com címen, az előzetes változat pedig az arXiv-on érhető el.

A verifikáció megszűnik szűk keresztmetszet lenni

A hét legfontosabb tanulsága annak, akit foglalkoztat, hogy megbízhatók-e ezek a rendszerek éles üzemben, Josef Urban keynote-jából érkezett. Az Amazon Nitro hipervizorának izolációs motorját hozta példaként, amely mostanra teljesen formálisan verifikált: nagyjából 330 000 sor gépileg ellenőrzött matematika fut éles üzemben anélkül, hogy a felhasználók tudnának róla. Az utolsó 250 000 sorból mintegy 100 000-et kódoló ügynökök írtak automatikusan hat hónap alatt. A következtetés, amelyet Urban levont, az elvihető rész. A bizonyítások megírása többé nem a nehéz feladat. A korlát mostantól azok az emberek, akik meg tudják fogalmazni, mi lett bizonyítva, ezt a specifikációhoz tudják viszonyítani és auditálni tudják az eredményt, az Amazon pedig pontosan ilyen emberekért verseng a munkaerőpiacon. Egy kapcsolódó bemutatóban egy 600 oldalas matematikakönyvet kilenc nap alatt formalizáltak teljesen, nagyjából száz dollárnyi hétköznapi előfizetéses számítási kapacitással.

Ez közvetlenül érinti a saját érvelésemet. Ha a verifikációs kapacitás a döntési sebességgel együtt tud növekedni ahelyett, hogy folyamatosan lemaradna mögötte, akkor a koordinációs kudarc, amelyet a tanulmányban leírok, megoldással rendelkező mérnöki problémává válik.

Húsz watt

A másik előadás, amelyre folyamatosan visszagondolok, Neil Gershenfeldtől érkezett, aki az MIT Center for Bits and Atoms munkatársa, Camron Blackburnnel együtt, aki az Adiabatic Machines alapítója és technológiai igazgatója, és akinek a nála végzett doktori munkája a számítás termodinamikai határa közelében működő szupravezető adiabatikus logikáról szól. A témájuk annak a lehetőségnek a nagyságrendje volt, amely az AI munkaterheléseihez tervezett hardver építésében rejlik, szemben azzal, hogy továbbra is általános célú architektúrákon futtatjuk őket.

A technológia kereskedelmi forgalomban még nem elérhető, és az Adiabatic Machines azért létezik, hogy piacra vigye. Szándékomban áll szorosan követni az előrehaladásukat, mert a jelenlegi csúcstechnológia a saját feltételei szerint is nehezen védhető. A frontvonalbeli nyelvi modellek betanítása és működtetése megawattokat fogyaszt, a telepítés frontvonalán pedig gigawattokat. Az emberi agy nagyjából húsz wattból végzi a munkáját. Ez a szám az igazi mérnöki célkitűzés: olyan AGI-rendszerek, amelyek húsz wattból vagy kevesebből működnek, miközben elérik, majd meghaladják azt, amit a biológiai evolúció létre tudott hozni.

Húsz évvel ezelőtt egy utcasarkon 46 centért árult újság azt közölte olvasóival, hogy mindez soha nem következett be, és még évtizedekre van. Most annak az évtizednek a belsejében élünk.