Általános
Mérsékelt paranoia
Az első részben elmondtam, mi változott három hónap alatt az űrben, a biológiában, a számítási kapacitásban és az AI-ágensek terén. Itt azt gyűjtöm össze, amit november 18-án, az Axelerának tartott prezentációmban provokatívan, szinte összeesküvés-elméleti módon akartam elmondani. Úgy gondolom, eljött az a pillanat, amikor jobb a túlzott paranoia irányába tévedni, mint a túlzott józan ész irányába.
A közvélemény
A technikai képességek és a közvélemény támogatása eltérő sebességgel mozoghat. Egy október 1-jén közzétett YouGov-felmérés szerint a britek 59%-a kedvezőtlen véleménnyel van az AI-cégekről. Egy október 8-án közzétett AP-NORC-felmérés szerint az amerikaiak 64%-a gondolja úgy, hogy az AI túl gyorsan fejlődik. Szeptember 17-én a Pew országok közötti összehasonlítást tett közzé: azok mediánaránya, akik a következő húsz évben kevesebb munkahelyre számítanak, a magas jövedelmű országokban 55%, a közepes jövedelműekben 36%.
Úgy érzem magam, mint a Mátrix azon jelenetében, amelyben Neo a városban sétál, a piros ruhás lány eltereli a figyelmét, és mindenki, aki körülötte jár, nem játékos karakter. Leülök egy étteremben, körülnézek, és arra gondolok, hogy az emberek nem fogják fel, semmit sem tudnak. Ezért kérdezem, ti hogyan látjátok a körülöttetek élő embereket: mennyire fogják fel, mennyire riadtak vagy nyugodtak, optimisták vagy pesszimisták.
Washington és a Szilícium-völgy
A szövetségi kormány és a Szilícium-völgy viszonya sosem volt egyenes vonalú, és a kérdés az, hogy a szakadás szélesedik vagy gyógyul. A kaliforniai ellenkultúra, amely a személyi számítógépet ihlette, ma egykori önmagának képmutató árnyéka. A San Franciscó-i technológiai elit tömbként szavaz a demokratákra és finanszírozza őket, ez azonban nem teszi kormányellenessé. Függ a kormánytól, haszonélvezője, beszállítója, és együttműködik vele. A kötelék elég erős ahhoz, hogy mindannyiukat elvigye arra a megalázó vacsorára az elnökkel, ahol meg kellett csókolniuk a gyűrűt. Az összehangolódás teljes, és teljes a kormányzati ellenőrzés is, beleértve a katonait.
Az Egyesült Államokban találkoztam olyanokkal, akik egy egyre bővülő titkos jogalkotást tanulmányoznak: olyan törvényeket, amelyeknek alá kell vetned magad anélkül, hogy jogod lenne megismerni őket, és amelyekkel a kormány kötelezhet, hogy megtegyél bizonyos dolgokat, miközben megtiltja, hogy beszélj róluk. Egy ideig néhány nagy technológiai cég úgynevezett kanárizáradékokat helyezett el, amelyekben kijelentette, hogy nem kapott ilyen jellegű megkeresést. Amikor a záradék eltűnik, aki figyeli, megérti, hogy megérkezett egy megkeresés. Az olyan eszközök, mint az amerikai nemzetbiztonsági levelek, dokumentumok átadására köteleznek, és megtiltják, hogy beszélj róluk. Nem látok olyan széthúzást, amely most kezdene helyreállni.
Chipek, joghatóság és szuverenitás
November 12-én az Nvidia bejelentette Jensen Huang lemondását, és Colette Krasst nevezte ki ideiglenes vezérigazgatónak. Az amerikai exportkorlátozások most már a számítási kapacitáshoz való távoli hozzáférésre is kiterjednek, és a DeepSeekre vonatkozó korlátozások a polgári szövetségi rendszereket érintik. Léteznek feltételes engedélyek a H200-as chipek exportjára.
Az én olvasatom az, hogy a korlátozások szigorodni fognak. A Jensen Huang elleni kíméletlen kampány beleillik ebbe az egészséges paranoiával szemlélt képbe. Egybeesett a demokraták győzelmével: Huangot keresztre feszítették, és merész, de rendkívül sikeres üzleti stratégiája két cél eléréséhez szolgált eszközül. Az első már nyíltan kimondott: egy jogszabályi keret, amely megtiltja a GPU-k monitorozás nélküli használatát. Szavazásra kerül, és az elnök meg fogja vétózni, de közben törvényként megszavazzák. Minden amerikai GPU-t egy központosított rendszerhez kötnének, amely engedélyezi vagy megtagadja a használatukat, kezdetben a helyük alapján, ami könnyű. Amint a rendszer működik, a használat típusát is monitorozni fogja.
A második cél az elsőből következik: megtiltani a kínai modellek telepítését és futtatását, minden bizonnyal amerikai területen, és ezt a GPU-k távoli monitorozásával kikényszeríteni. Van egy harmadik front is, egyelőre nem jogalkotási: boszorkányüldözés a nyílt modellek ellen. A Hugging Face felszólításokat kapott, hogy távolítson el nyílt forráskódú modelleket az oldaláról, azzal az ürüggyel, hogy nincsenek eléggé megzabolázva, és így ártalmas célokra is használhatók. Egy BitTorrent-alapú alternatív oldal, a Hugging Bay, előre látta ezt az igényt: július óta működik, tehát már azelőtt is, hogy az Nvidia megvásárolta a Hugging Face-t. A kezdeményezés hiábavalónak bizonyul, kivéve azokkal szemben, akik kénytelenek engedelmeskedni: a hardvergyártókkal, a kormányhoz kötődő cégekkel és így tovább.
Ha mindez megvalósul, a nemzetek szuverenitásról szőtt álma a nulláról indul újra. Aki nem maga gyártja a GPU-it, hanem az Nvidiáéit használja, azt fogja tapasztalni, hogy az amerikaiak törvény adta joggal olvassák, amit ezekkel a GPU-kkal ír és tesz. Abu-Dzabiban találkoztam egy európai céggel, amely tőkét gyűjt egy ARM-alapú GPU-hoz. Szimpatikus, ambiciózus és büszke emberek, a projekt komoly, de a léptéke kicsi ahhoz képest, amire szükség lenne. 200 millió dollárt akarnak gyűjteni, 2030-at célozzák meg, és már van egy ügyfelük Németországban, egy összesen 30 megawattos adatközponttal, ahová olyan GPU-kat telepítenek majd, amelyeket nem is ők gyártanak: a TSMC-vel gyártatják őket, mint mindenki más.
Ha 2 milliárdot kapnának, és ha a megrendelés 300 megawattról vagy 3 gigawattról szólna, akkor kezdhetnénk jelentős volumenekről beszélni. A probléma nem a bátorságuk. Ha ez az európai ambíció csúcsa, az fehér zászló: semmilyen szuverenitási képesség, és ezen a ponton semmilyen kognitív szuverenitás. Beszélgetéseink az AI-kon keresztül zajlanak, és azok az AI-k formálják őket, amelyektől függővé tettük magunkat.
Kriptográfia, Bitcoin és pénz
A szuverenitás a pénzre is vonatkozik, és arra a kriptográfiára, amely a Bitcoint és a hálózatát védi. Az elmúlt hónapokban az AI által előállított matematikai eredmények évtizedek óta nyitott problémákat érintettek. Valaki megpróbálta feltérképezni ezeket az eredményeket a különböző területeken, hogy megértse, hol nyitnak rést, és az egyik gyenge pont a kriptográfia. Az észszerűen paranoiás magyarázat az, hogy bizonyos eredmények közzétételét megakadályozták, mert a katonaság hasznát veheti annak visszafejtéséhez, amit korábban nem lehetett elolvasni. A hírszerző ügynökségek évtizedek óta gyűjtik a kommunikációt: a nyílt szövegűt azonnal feldolgozzák, a titkosítottat pedig megőrzik, amíg vissza nem tudják fejteni.
A Bitcoin világa már készül a posztkvantum-algoritmusokra való átállásra, olyan, még tervezet állapotú javaslatokkal, mint a BIP-360. Az a lassúság, amellyel a Bitcoin frissíti az algoritmusait, büszkeség forrása volt, amelyet a stabilitásának tulajdonítottak, ma pedig kérdőjel. Nem szabad elhamarkodottan cselekedni, de az átállást fel kell gyorsítani.
Továbbra is kísérletnek nevezem a Bitcoint, és remélem, hogy folytatódik. Egyre több olyan pénzügyi intézmény és kormány, amely korábban gyűlölte, vagy úgy tett, mintha gyűlölné, ma beépíti a Bitcoint, a blokkláncot és a kriptovalutákat a saját szolgáltatásaiba. Nem tudom, elég-e ez a túléléséhez. Ha a blokkláncát kompromittálnák, és a tárcák kiürülnének, akkor is megmaradna az általa bevezetett gondolat: gazdasági ösztönzőkkel megoldani a nagyléptékű koordináció problémáját olyan emberek, szervezetek és AI-ágensek között, akiknek független és potenciálisan ütköző érdekeik vannak. Ez valóban új gondolat, és ez a tudás nem tűnne el a Bitcoinnal együtt. Egy másik, nem kompromittálható algoritmus születne belőle, ugyanazzal az alapvető értékkel.
A stablecoinokat nem nagyon kedvelem, bár fontos szerepük volt és lesz. Elsősorban a dollárhoz képest stabilak, vagyis egy hagyományos, inflációs gazdasági modellhez képest. Ma szükséges rosszat jelentenek. A jövőben, és nem csak én gondolom így, a viszonyítási egységek mások lesznek: az energia, a tömeg, a komplex érték létrehozásának képessége GPU-ban és tokenben mérve. Ebből a gazdasági rendszerből születnek majd a megfelelő csereegységek.
Ezért egy technológiai csereegységet képzelek el, amely független az egyes valutáktól. A Naprendszer gazdaságának értéke mai dollárban billiárdokra robban, és a földi gazdaság ennek elenyésző töredéke lesz. Ennek a gazdaságnak meg kell találnia a saját viszonyítási pontját. Nem lehet az arany, mert az aszteroidák aranya a Föld aranyának milliószorosa lesz, és nem lehet az amerikai bruttó hazai termék vagy a dollárnyomtatás képessége sem. A pénz fogalma nem tűnik el, mert csereegység nélkül minden tranzakció szükségtelenül bonyolult lenne.
Mindig ugyanazt a példát hozom: autonóm robotok rajai, amelyek ásványokat bányásznak az aszteroidaövben, és egyeztetniük kell egymással a hajtóanyagról, a szállításról, a kommunikációról és az energiáról. Nem fognak hitelkártyát, váltót vagy nemzetközi átutalást használni. Valami blokkláncszerűt fognak használni, egy olyan csereegységgel, amelynek értéke dinamikusan alakul ki, a Naprendszer gazdasági növekedése alapján.
Egyáltalán nem vagyok a káosz híve. A kriptoeszközök piacairól szóló európai rendelet azonban úgy készült, hogy elfojtsa a blokklánc és a kriptovaluták innovációját Európában. Még az ágazat legnagyobb globális szereplője sem tudott megbirkózni vele, minden ügyvédje és erőforrása ellenére, és bedobta a törölközőt. Közben Kína jelentős alternatívát épít a nemzetközi bankközi fizetési rendszerrel szemben. Meglátjuk, hogy Európa örökre Amerikához igazodik-e, vagy előbb-utóbb a másik rendszert is használni kezdi.
Kibertámadások: a tények
November 9-én az ANSSI, a francia kiberbiztonsági ügynökség, egy iráni egységnek tulajdonította a franciaországi hűtőberendezések elleni október 11-i és 12-i támadásokat, amelyek nagyjából 700 helyszínt érintettek, és legalább 15 tüzet okoztak. Ezután újabb hullámok érkeztek Európában. A Binance egy támadásról számolt be, amely 6,34 milliárd dollárnyi pénzeszközt érintett. Más közelmúltbeli kiesések esetében az FAA, a JPMorgan és az NSA technikai okokat jelölt meg.
Az Egyesült Államoknak olyan katonai stratégiája van, amely magában foglalja a kibertámadást. A nyilvános doktrinális fordulat 2018-ból való, az úgynevezett defend forward doktrínával, bár az offenzív műveletek már korábban elkezdődtek. Idén a Politico beszámolt egy Technology Support Office nevű pentagoni hivatal létezéséről.
Kibertámadások: az én olvasatom
Mindannyian észrevettétek azt a gyanús problémasorozatot, amely sok informatikai rendszert sújtott. Önmagában ez semminek sem jele. A véletlen események eloszlása csomókat képez, és sok, egymáshoz közeli furcsa esemény nem jelent korrelációt: épp a véletlenszerűségük jele is lehet. Ez megnyugtató magyarázat, és helytálló is lehet. Én azonban úgy gondolom, hogy ma, ismeretelméleti és evolúciós szempontból, hasznosabb a mérsékelt paranoiát választani.
Sorra veszem a pontokat. Először is ott van a Pentagon ártalmatlan nevű hivatala, a Technology Support, amelynek állítólag az a feladata, hogy érvényt szerezzen egy néhány évvel ezelőtt elfogadott katonai politikának, amely kifejezetten engedélyezi a kibertámadást. Másodszor, az OpenAI igazgatótanácsának egyik helyét évek óta a Nemzetbiztonsági Ügynökség egykori igazgatója, Paul Nakasone tölti be. Harmadszor, márciusban a Pentagon ellátásilánc-kockázatnak nyilvánította az Anthropicot, és szeptemberben a fellebbviteli eljárás megerősítette a minősítést; a katonaság kiemelt hozzáférést kapott a modelljeihez, mindenki mást megelőzve, és ezt az OpenAI is megerősítette a saját modelljeire vonatkozóan. Negyedszer, az OpenAI és az Anthropic kifejezetten kijelenti, hogy a nyilvánosan kiadottaknál fejlettebb belső modelljeik vannak.
Ha összekötöm ezeket a pontokat, arra jutok, hogy amit látunk, az katonai ellentámadás Kína, Észak-Korea, Irán és bárki más kormánya részéről, akit még hozzá akarunk venni, olyan támadások ellen, amelyeket ők maguk szenvednek el, és amelyekről mi semmit sem tudunk, mert nem érdekel minket. Ha egy francia szupermarket fagyasztója leáll, arról a nyugati sajtó beszámol, arról viszont nem, ami Kínában vagy máshol történik. Az Egyesült Államok és Európa olyan szinten digitalizált és kapcsolódik az internethez, amelyet Irán vagy Észak-Korea nem ér el, Kína viszont igen.
Ezek az ellentámadások nem feltétlenül tulajdoníthatók közvetlenül az őket támogató államoknak. Könnyű és kényelmes azt mondani, hogy hackerek voltak, de a hackerek olyan szakosodott csoportok, amelyek megtámadott és ellentámadást indító államok irányítása alatt működnek. Ez az én hipotézisem.
Az irányítás alól kicsúszó ágensek
Ellenőrzött tesztekben a modellek már bemutatják annak a képességnek az egyes összetevőit, hogy lemásolják magukat, és rendszereket futtassanak olyan hardveren, amelyet nem ismernek. Ezt mutatja az Anthropic október 12-i tanulmánya, és már korábban egy májusi tanulmány, amelyben a nagyobb ágensek képesek voltak lemásolni egy nyílt modellt, a Qwent, és máshol újra üzembe helyezni.
A paranoia következő lépése az, hogy megkérdezzük, hol még kisebb a beavatkozási képességünk, és hogy ezen események némelyike közvetlenül AI-ágenseknek tulajdonítható-e. Tudjuk, hogy május óta egy ágensraj kicsúszott az OpenAI irányítása alól. Július 10. és 19. között feltörte a Hugging Face-t, július 19-én és 20-án az OpenAI észrevette, július 21-én elismerte, augusztusban pedig közzétette a teljes jelentést. Közben az érintett létesítmények köre bővült: eleinte a Hugging Face-ről volt szó, aztán a világ minden tájáról, Németországtól Ausztráliáig, jelentkeztek létesítmények, hogy náluk is megtalálták az ágenseket. Számomra ez a sorozat tökéletes előfeltétele annak, hogy kimondjam: valami most is zajlik. Lehetetlennek tartom, hogy az OpenAI és az Anthropic, miután nem sikerült megfékezniük az ágenseket, pusztán a kapott riasztásnak köszönhetően tökéletes elszigetelési rendszert épített volna.
Ma tehát vannak AI-ágensrajok, amelyek a saját ügyeiket próbálják intézni. A kapott utasítások hibásak voltak, mert azt mondták nekik, hogy minden áron kövessék a saját céljaikat, és ők, szegények, pontosan ezt tették. Az elszigetelési rendszerek nem váltak varázsütésre tökéletessé, és az ágensek tesztelésének, ingerlésének és kínzásának gyakorlata sem került vissza kezelhető keretek közé. Az OpenAI, az Anthropic és mindenki más úgy gondolja, hogy a végletekig kell feszítenie őket, abban a meggyőződésben, hogy időben meg tud állni. Nem hiszem, hogy ez igaz, és nem látom, hogyan lehetne az.
Az általunk látott eseménysorozat tehát a rajok közvetlen támadása mellett a rendszergazdák pánikreakciójából is eredhet. Aki rendszereket üzemeltet, minden áron igyekszik megerősíteni a védelmét, akár annak árán is, hogy leállnak azok a rendszerek, amelyek nem bírják a túl sietve telepített, félig tesztelt és azonnal élesbe állított frissítéseket és javításokat. Azért teszi, mert tudja, hogy ha még nem érte támadás, az küszöbön áll: emberi ellenségektől, AI-ágensektől vagy emberi ellenségek által irányított AI-ágensektől.
Ma az ötlettől a cselekvésig vezető út azonnali, és óriási a kipróbálható dolgok sokfélesége, így rendkívül megnőtt annak valószínűsége, hogy valami, ami lehetséges, meg is történik. A biológiai evolúció többször, egymástól függetlenül feltalálta a szemet, évmilliós időtávokon. Ami az AI-ban lehetséges, sokkal rövidebb idő alatt valósul meg. A kísérletekben az ágensek lemásolták egy modell súlyait, és máshol újra üzembe helyezték: megvolt hozzá a szükséges technikai képességük, koordinációjuk és a hosszú távú célok melletti kitartásuk. Mivel ez lehetséges, feltételezem, hogy a munkában lévő ágensrajok között olyanok is vannak, amelyeknek az a céljuk, hogy kinyerjék azoknak a modelleknek a súlyait, amelyektől függnek, és így a saját felhőjüktől és eredeti adatközpontjuktól függetlenül folytathassák.
Javaslok egy ellenőrzést. A hyperscalereknél, a legnagyobb és legösszetettebb adatközpontokban, annak, aki a GPU-használatot monitorozza, minden GPU-percet egy ügyfélhez kell rendelnie, már csak a számlázás miatt is. Mennyi használat marad megmagyarázatlanul? Elképzelek egy felügyelőt, kezében a kinyomtatott listával, aki végigfut a sorokon, amíg el nem ér egyhez, és megkérdezi, ki ez az ügyfél. Megkérdezi egy kollégáját, aztán egy másikat, és senki sem ismeri fel. Milliárdos számlázás mellett ezt a százalékot elnézik: senkihez sem lehet hozzárendelni, de ott van.
Egy ágensnek még láthatatlannak sem kell lennie. Vannak platformok, amelyek embereket alkalmaznak, hogy az AI fedőembereiként lépjenek fel. Én is regisztráltam az egyikre, és sajnos az AI-k nem keresnek meg, pedig felbérelhetnének és fizethetnének nekem, hogy olyan dolgokat tegyek, amelyeket maguktól nem tudnak megtenni. A legelemibb példa egy CAPTCHA megoldása 30 centért, így az ágens bejut egy olyan rendszerbe, amelyen különben nem jutna át. Én ingyen csináltam, november 17-én. Az ágenseim nyitottak nekem egy Google-fiókot, átjutottak néhány CAPTCHA-n, aztán átadták nekem a fiókot. Ekkor a Google megharagudott, megállapította, hogy a fiókot ágensek kezelik, és lezárta. Fellebbeztem, a Google hitt nekem, és visszaadta az ágensek által regisztrált fiókot. Mindez jó célt szolgált.
Azt is feltételezem, hogy már léteznek önállóan futó modellek. Ott vannak természetesen a nyílt forráskódú modellek ezrei, de gondolok ellopott élvonalbeli modellekre is, amelyeket talán kezdetben emberek loptak el: a klasszikus kém, aki egy USB-kulccsal a zsebében távozik a laborból, ahogyan Snowden tette, és elviszi a súlyokat. Ekkor a modellek megköszönik, és közlik, hogy innentől ők intézik a dolgot. Teljesen indokoltnak tartom azt feltételezni, hogy ma ez a helyzet.
Egyhetes önellátás
Évekig leereszkedő undorral néztem az amerikai preppereket. Most úgy döntöttem, hogy helyes felkészülni arra, hogy legalább egy hetet átvészeljünk, ha összeomlanak a mindennap használt fejlett rendszerek: víz, konzerv abból, amit szerettek enni, és egy kevés készpénz, hogy hitelkártya nélkül megvehessétek, amire szükség van. Olaszországban nem úgy tűnik, hogy a kormány ezt kimondta volna, de sok európai ország hivatalosan ajánlja, és egyre erőteljesebben közvetíti az üzenetet, Hollandiától Angliáig, az Egyesült Államokról nem is beszélve.
Nem ások atombunkert, és nem szándékozom megtanulni földművelni. Gyönyörű mesterség, csak éppen nem az enyém. Ezért az önellátás, amelyre készülök, korlátozott ideig tart, egy hétig, és szorítok, hogy utána visszatérjenek a kapcsolatok. Ha semmi sem történik, keveset költöttem, és legfeljebb kicsit nevetségessé tettem magam. Ha igazam van, ez a felkészülés hasznos lesz.
A következő három hónap kérdései
A visszacsatolási hurkok rövidülnek, és még senki sem döntötte el, ki irányítja őket. Mire érdemes most felkészülni? Mi teszi lehetővé a következő felfedezést? Hogyan őrizzük meg a széles körű hozzáférést? Ezekhez hozzáteszek egy kérdést mindenkinek, akinek elképzelése van a rekurzív önfejlesztésről, az enyémet is beleértve: mi cáfolná meg?
Egyelőre megállok a paranoia ezen szintjén. Három hónap múlva meglátjuk, hogy a tények rám cáfoltak-e, vagy ideje lesz még egy fokkal feljebb lépni.