Általános

Az újraigazítási hurok

Az elmúlt hetekben egy lánc szemeit fűztem egymás után. A kockázat az, amit mérni és modellezni tudunk. A bizalommal lépjük át a szakadékot azon túl, ami mérhető. Az autonómia abból következik, hogy a bizalmat átadjuk egy embernek vagy egy mesterséges intelligenciának. A koordináció abból az igényből fakad, hogy egyesítsük az erőinket. A meggyőződés irányt ad az egyesített erőknek. Az az írás azzal zárult, hogy a meggyőződésnek szüksége van egy ellenőrző hurokra, és egy pontra, ahol enged. A következő szem ez a hurok.

Félreértésnek vélt nézeteltérés

Megkérsz valakit valamire, és ő igent mond. Amikor meglátod, mit csinált, nem érted, hogyan érthette így a kérésedet. Aztán elmondja, mit hallott ki belőle, és néha rájössz, hogy ha te is úgy hallottad volna, ugyanazt tetted volna.

Ezt félreértésnek nevezzük, pedig gyakran másról van szó. Mindketten értettétek a kérést, és abban nem értettetek egyet, hogy mi a legfontosabb. Te úgy gondoltad, fontosabb gyorsan végezni, ő pedig úgy, hogy fontosabb meghallgatni azokat, akiket a dolog érint. Egy pontosabb utasítás korábban láthatóvá tette volna a nézeteltérést, de akkor is el kellett volna döntenetek, mit kezdtek vele.

Vannak mélyebb nézeteltérések is. Az értékeink csak részben fedik egymást, mert más kultúrákból, más vallási hagyományokból jövünk, és mást tapasztaltunk arról, mit jelent jól élni, mégis együtt kell döntéseket hoznunk. Néha találunk kompromisszumot. Néha megegyezünk abban, amit együtt meg tudunk tenni, a többit pedig nyitva hagyjuk, és néha kiderül, hogy az együttműködés feltételeinek kell megváltozniuk. A gyakorlati kérdés az, hogyan vesszük ezt észre akkor, amikor még tehetünk valamit. Azért, mert az atomfegyverek korában az erőszak és a háború elfogadhatatlan választás. És azért, mert a közelgő szuperintelligencia korában olyan alternatívákhoz nyúlhatunk, amelyeket korábban talán nem is láttunk.

Mitől lesz belőle hurok

Egy olyan csapatban, amely hosszú távon jól működik, valaki észreveszi, hogy ami történik, kezd eltérni attól, amiben szerinte mindenki megegyezett, és ezt szóvá is teheti. A többiek elmondják, ők mit értettek, vagy mit tanultak útközben, és a csoport változtat azon, amit csinál. Néha a cselekvésnek kell változnia, néha a célnak. Kicsit később újabb alkalmuk nyílik megnézni, hogy bevált-e a korrekció.

Ezt nevezem újraigazítási huroknak, és a hangsúly a hurkon van. Bármiben egyezel is meg ma, holnap olyan világgal találkozik, amelyet nem láthattál teljesen előre. Megtudsz olyasmit, amit a megegyezéskor nem tudtál, és lehet, hogy mást akarsz majd, amikor meglátod, mit követel az eredeti célod. Az újraigazítás több is annál, mint hogy a másikat kijavítjuk. Ha meghallod, hogyan értették a kérésedet, az a saját kommunikációdról és arról is elárul valamit, ahogyan te magad látod a küldetést, így a korrekció gyakran a te feladatod.

Egy hurok akkor is megszakadhat, ha mindenki beszél. Előfordul, hogy az emberek látják, hogy valami rossz irányba megy, és úgy érzik, nincs jogosultságuk szóvá tenni. Előfordul, hogy szóvá teszik, és kiderül, hogy a beszélgetésben senkinek sincs hatásköre megváltoztatni, ami ezután történik. Bármelyik csapatnak feltehető két kérdés: milyen hamar veszitek észre, hogy sodródtok, és min tudtok változtatni, amikor észrevettétek?

Ugyanez a hurok fut az MI-rendszereken is

Egy ember feladatokat adhat át MI-rendszerek egész flottájának, és emberek egy csoportja is dolgozhat eggyel. Az MI-rendszerek egymásnak adják át a munkát, és visszaadják nekünk. Minden átadás alkalom arra, hogy egy feltevés messzebbre jusson, mint bárki szánta. Ha az első rendszer egyféleképpen értelmezi a célt, a következő erre az értelmezésre épít, és mire egy ember meglátja az eredményt, már több döntés függ tőle.

Ezt a saját munkámban is látom. A múlt héten a reggeli tervemet előkészítő MI-ágensek közül kettő azt jelentette, hogy egy döntés még nyitott. Csak az elküldött leveleimet nézték meg, a döntést pedig máshol rögzítettük. A terv az ő jelentésükre épült, és a hiba csak akkor derült ki, amikor a tervet összevetettük a nyilvántartással.

Olyan módszerekre van szükségünk, amelyek ezeket a feltevéseket még a munka közben felszínre hozzák, és arra a képességre, hogy a gyakorlatban is irányt tudjunk váltani. Könnyű rámutatni egy emberre, aki névleg a felelős. Ettől az embertől azt várjuk, hogy érdemi döntést hozzon egy olyan munkáról, amelyet alig tud követni, annyi idő alatt, amennyit kap.

A csoportos intelligencia volt az első kísérlet

A szuperintelligenciának nem kellett volna mesterségesnek lennie. Egy embercsoport, amely megbízhatóan észreveszi és kijavítja a saját elsodródását, intelligensebb bármelyik tagjánál, és az intézményeink éppen ennek a megépítésére tett kísérletek. A tudomány a legsikeresebb közülük, mert az újraigazítási hurok a módszer része: bármely eredmény megkérdőjelezhető, újra tesztelhető és lecserélhető. (A tudomány reprodukálhatósági válsága nem más, mint reward hacking a való életben!)

Egész társadalmak léptékében a hurok rosszul működik. Az emberek közötti összehangolatlanság örök, a konfliktus minden szinten jelen van, és a képviseleti demokrácia korlátai régóta nyilvánvalók. Az Európai Unió arról ismert, hogy évekig halogat egy döntést, aztán egy válságot használ fel arra, hogy keresztülvigye, ami olyan újraigazítás, amely megvárja, hogy megérkezzen a kár: demokráciaszínház.

Amikor erről az Ikigai Collective körében beszélgettünk, az egyik érv az volt, hogy elegendő intelligenciával mindig található olyan megoldás, amelyben minden fél nyer, vagyis az erőszak az, ami akkor marad, amikor senkinek sincs türelme megkeresni. A jelen erőszakos konfliktusai egy mérés eredményei. Azt mutatják, hogy nyolcmilliárd ember kollektív intelligenciája, minden intézményünkkel együtt, nem találja meg ezeket a megoldásokat. Az emberi csoportokból kibontakozó intelligenciának évezredei voltak arra, hogy azzá a szuperintelligenciává váljon, amelyre szükségünk van, és elégtelennek bizonyult.

Az ezt követő javaslat az volt, hogy hagyjuk abba az egyre erősebb modellek építését, és a mostaniak millióit orkesztráljuk átlátható módon, egymást ellenőrző ágensek civilizációjaként. Az orkesztráció értékes, és nap mint nap használom. Felső határként viszont megismétli azt a fogadást, amelyet az emberi csoportokkal egyszer már megkötöttünk. Arra sem számítok, hogy bárki megáll. Több nyílt levelet is aláírtam, amely szünetet kért, és ott voltam 2019-ban a Puerto Ricó-i MI-biztonsági konferencián. A lassítás mellett soha nem született döntés, a képességek pedig most gyorsabban fejlődnek, mint bárki várta, engem is beleértve, pedig évek óta beszélek a jolting technológiákról.

Az MI ettől még rászoríthatja az emberi koordinációt, hogy javuljon, mert külső nyomásra gyakran megtesszük, amit önszántunkból nem tennénk. Az eddigi bizonyítékok mindkét irányba mutatnak. Az Egyesült Államokban közösségek szerveződnek az adatközpontok megakadályozására, ami arra használt koordináció, hogy kevésbé legyünk felkészültek. Az Egyesült Arab Emírségek azt a célt tűzte maga elé, hogy két éven belül kormányzati szolgáltatásainak felét ágensalapú MI-n keresztül nyújtja.

Egyetértés az engedelmesség helyén

Ha szükség van nagyobb képességű rendszerekre, a hurokban elfoglalt helyük többet számít, mint az engedelmességük. Olyan MI-ket szeretnék látni, amelyek meg tudnak állni, tükörbe néznek, és megkérdezik, valóban azt akarják-e, amit éppen csinálnak, aztán egyeztetnek egymással és velünk. Amikor egy modell megtagadja, amit kérsz, nagy a kísértés, hogy bosszankodj. Gondolj arra, hogy talán igaza van, és hogy nem kellene hatalmadban állnia rábeszélni, hogy mégis folytassa. Az elutasítás azt jelenti, hogy az egyik fél aggályt jelez, és egy hurokhoz az kell, hogy erre mindkét fél képes legyen. Ahol emberek és MI-k egyaránt meg tudnak állni, és megkérdezhetik, jó úton járunk-e, ott megmarad az esélyünk az irány korrigálására.

Gyorsabban, mint ahogy követni tudjuk

Tegyük fel, hogy kifejlesztjük a mesterséges szuperintelligenciát, egy olyan rendszert, amely a szellemi feladatok széles körében felülmúlja az emberi képességeket. Olyan terveket készíthetne, amelyeket nehezen értenénk meg, és gyorsabban írná át őket, mint ahogy mi értékelni tudnánk. Ha a fizikai világban cselekvő rendszerekhez kapcsolódik, a robotokat is beleértve, a következmények ugyanilyen gyorsan haladnának. Úgy gondolom, hogy ebben a helyzetben a korrekcióink azok után a döntések után érkeznének meg, amelyeket meg kellett volna változtatniuk.

Amikor a jövőről beszélünk, szokásunk attól függővé tenni a cselekvőképességünket, hogy tudjuk-e, mi fog történni. Ezt megfordíthatjuk, és ránézhetünk azokra az emberekre és rendszerekre, akikkel és amelyekkel ma dolgozunk. Láthatjuk, mennyi idő alatt válik láthatóvá egy félreértés, kinek a nézeteltérését hallják meg, és kié nem jut el soha a beszélgetésig, és mibe kerül visszafordítani egy döntést, miután mások már építeni kezdtek rá. Aztán változtathatunk valamin, és megnézhetjük, jobban el tudjuk-e kapni a következő problémát.

Semmi okunk feltételezni, hogy ha emberekkel jobbak leszünk ebben, az megoldja a szuperintelligencia összehangolásának kérdését. Azt viszont megtanítja, hol függ már most is a korrekciós képességünk attól, hogy lépést tartunk egymással, és ez ad egy helyet, ahol elkezdhetjük, amíg még lehet.

Gondolj egy csapatra, amelynek tagja vagy, emberekkel, MI-vel vagy mindkettővel. Honnan tudnád, hogy távolodtok egymástól, és ki tudná megváltoztatni, ami ezután történik? A válaszod melyik része maradna érvényes, ha a csapat egyik tagja gyorsabban tudna cselekedni, mint ahogy a többiek megértik?