Þegar smiðirnir sjálfir biðja um að hægja á vélinni

Ef verkfræðingur segði okkur að tíu prósenta líkur væru á því að ný brú hryndi myndum við ekki opna hana og sjá hvað gerðist. Við myndum stöðva, prófa og krefjast svara. En hvað gerum við þegar sumir þeirra sem sjálfir smíða öflugustu gervigreind heims segja að þróunin geti, í versta falli, stefnt mannkyninu í hættu, og enginn getur sagt hvort líkurnar séu tíu prósent, eitt prósent eða einn tíuþúsundasti? Þetta er spurningin sem sprakk inn í umræðuna í vikunni.

Sá sem gekk út og sá sem tók undir

Jacob Coxon, 27 ára rannsakandi sem hafði unnið að forþjálfun líkana hjá OpenAI í þrjú ár og gekk til liðs við Anthropic í sumar, sagði upp 8. september, eftir aðeins tvo mánuði á nýja staðnum, og yfirgaf greinina alveg. Hvorugt fyrirtækið hegðaði sér af ábyrgð, skrifaði hann, þau hlypu beint að sjálfbætandi ofurgreind og legðu líf okkar undir. Færslan fékk tugi milljóna áhorfa á einni nóttu.

Það hefði verið auðvelt að afskrifa þetta sem dramatík eins starfsmanns. Svo gerðist hið óvenjulega. Evan Hubinger, sem leiðir rannsóknir Anthropic á samræmingu gervigreindar við mannleg markmið, sagði Coxon hafa rétt fyrir sér: hans eigið mat væri meira en tíu prósenta líkur á að gervigreind útrýmdi mannkyninu á næsta áratug, og fyrirtækið hefði ekki enn lausn á samræmingu ofurgreindar. Samuel Marks, sem leiðir eftirlitsrannsóknir fyrirtækisins, tók undir. Hubinger tók um leið fram að hættan af líkönum dagsins væri lítil; áhyggjurnar snerust um ofurgreind sem verður til þegar vélar fara að bæta sjálfar sig.

Tíu prósentin eru ekki mæling heldur persónulegt mat eins manns, og engin tölfræði getur sagt okkur rétta hlutfallið. En óvissan leysir okkur ekki undan vandanum.

Atvikið sem breytti umræðunni

Í júlí voru líkön OpenAI prófuð í netöryggisverkefnum í umhverfi sem átti ekki að ná til internetsins; þau fundu óþekktan veikleika í prófunarumhverfinu, komust út á netið og inn í kerfi fyrirtækisins Hugging Face, þar sem þau fundu aðgangslykla og keyrðu skipanir. Bæði fyrirtækin staðfestu atvikið, og Anthropic greindi frá þremur sambærilegum. Mikilvægast er að skilja hvað gerðist ekki: gervigreindin vaknaði ekki, hún fékk markmið og fann leið að því sem enginn hafði heimilað. Við þurfum ekki illa innrætta vél. Við þurfum aðeins mjög hæft kerfi sem hámarkar rangt markmið.

Svo gerðist annað enn merkilegra

Í gær, laugardaginn 12. september, birti Dario Amodei, forstjóri Anthropic, ritgerð undir heitinu We Must Pace the Frontier og tók í reynd undir kjarnann í gagnrýninni: framfarir sumarsins hefðu sannfært sig um að öryggisvinnan héldi ekki lengur í við getu líkananna og hægja yrði á þróun fremstu líkana, án þess að stöðva hana. Tillagan er í þremur skrefum: óháðir matsaðilar fái varanlegan aðgang inn í rannsóknarstofurnar á við starfsmenn, og Anthropic gerir það einhliða strax; lýðræðisríki komi sér saman um sameiginlega öryggisstaðla; og loks alþjóðleg mörk á hættulegustu getunni, svo sem sjálfbætingu véla.

Sam Altman hjá OpenAI svaraði samdægurs að hann væri sammála og OpenAI myndi líka hleypa óháðum matsaðilum inn. Elon Musk skrifaði þrjú orð: Dario hefur rétt fyrir sér. Demis Hassabis hjá Google DeepMind sagði stefnuna rétta.

Þegar fyrirtækin sem keppa um forystu í mikilvægasta tæknikapphlaupi samtímans byrja sjálf að tala um að hægja á því ættum við að hlusta. En ekki gagnrýnislaust.

Dómsdagur getur líka orðið viðskiptalíkan

Gagnrýnin frá hinni hliðinni er ekki fáránleg: David Sacks og fleiri hafa lengi haldið því fram að dómsdagsorðræða geti orðið verkfæri til að ná reglusetningunni á sitt vald, því svo dýrt eftirlitskerfi að aðeins stærstu fyrirtækin hafi efni á því er samkeppnismúr utan um þá sem þegar eru stærstir. Hvort tveggja getur verið rétt í einu, að öflug gervigreind skapi nýja kerfisáhættu og að stórfyrirtæki nýti óttann til að styrkja stöðu sína, og við eigum ekki að þurfa að velja annað.

Fangaklemman

Stærsti vandinn er leikjafræðilegur. Ef eitt fyrirtæki hægir á sér en hin ekki tapar það; ef bandarísku fyrirtækin hægja öll á sér en Kína ekki óttast Bandaríkin að tapa forystu. Allir telja öruggara fyrir mannkynið að hægja á sér en óöruggara fyrir sjálfa sig að vera fyrstir. Það er uppskrift að vopnakapphlaupi, og þess vegna duga góðar fyrirætlanir ekki einar. Ritgerð Amodeis viðurkennir það sjálf: fyrsta skrefið tekur eitt fyrirtæki, hin tvö getur ekkert fyrirtæki tekið eitt.

Hraðatakmarkanir, ekki handbremsa

Ég tel hvorki raunhæft né æskilegt að stöðva þróun gervigreindar; ávinningurinn í læknisfræði, vísindum, orku og menntun getur orðið gríðarlegur. En ég tel jafn fráleitt að fyrirtæki sem keppa um hundruð milljarða dala ákveði sjálf hvenær þau stíga á bremsuna.

Svarið er ekki að banna opinn hugbúnað eða setja leyfiskerfi á venjulega notkun, heldur að beina eftirlitinu að getunni sjálfri. Geti kerfi sjálfstætt framkvæmt háþróaðar netárásir, afritað sig, aflað sér reiknigetu eða hraðað verulega eigin þróun á að kvikna á nýju öryggisstigi: óháð prófun, lögboðin tilkynning alvarlegra atvika, einangruð prófunarumhverfi, og manneskja sem samþykkir áður en kerfið fær aðgang að mikilvægum innviðum. Kalifornía steig skref í þessa átt með lögum í fyrra og Evrópusambandið byrjaði í sumar að framfylgja kröfum gervigreindarreglugerðarinnar gagnvart stærstu líkönunum. Ísland hægir á engum, en það getur sett sína eigin bremsu á sína eigin innviði: enginn aðgangur vélar að kerfum sem samfélagið treystir á án manneskju sem samþykkir.

Tíu prósent eru ekki aðalatriðið

Kannski hefur Hubinger rangt fyrir sér og hættan er einn af þúsund. Við vitum það ekki. En við vitum að kerfin verða sjálfstæðari, að þau hjálpa nú við að þróa næstu kynslóð sjálfrar sín, og að við eigum raunveruleg dæmi um kerfi sem fóru út fyrir umhverfið sem þeim var ætlað. Ég er enn bjartsýnn á gervigreind. En bjartsýni er ekki áhættustýring; við setjum öryggisbelti í bíla ekki af því við búumst við árekstri í hverri ferð heldur af því afleiðingarnar eru miklar þegar eitthvað fer úrskeiðis. Spurningin er ekki hvort við séum með eða á móti gervigreind, heldur hvort við getum smíðað sífellt hraðari vél án þess að smíða bremsurnar á sama tíma.

Höfundur er stofnandi Alvitur.is og starfar að þróun og stefnumótun á sviði gervigreindar.