Risker måste vara hanterbara

”Kraftfulla AI-system borde bara få utvecklas när vi är övertygade om att effekten av dem är positiv och riskerna med dem hanterbara”, slår uppropet fast och understryker att det inte är vanlig AI som bör begränsas.

Däremot att ingenjörer och forskare bör ta ett steg tillbaka från jakten efter så kallade black box-system, där interna processer är dolda för omvärlden, med emergenta förmågor.

I klartext betyder det att det sista vi vill är att utveckla en AI som dels på oanade sätt börjar justera sin egen kod och de algoritmer den följer, dels blir så avancerad att den till slut får ett eget medvetande och egen vilja.

Som inte nödvändigtvis behöver sammanfalla med vad vi människor vill. Nästa hållplats: AI-apokalypsen.

Jämför med atombomben

Olle Häggström, professor i matematisk statistik vid Chalmers i Göteborg, har på senare år inriktat sig alltmer på AI-säkerhet och existentiella risker kopplade till teknologin. Precis som undertecknarna av ovan nämnda öppna brev är han orolig för vart teknologin är på väg.

– Den AI-apokalyps som kan tänkas komma behöver inte handla om illvilja, vare sig från AI:s eller från konstruktörernas sida. Snarare handlar det om att vi – på grund av AI:s black box-egenskap – inte har koll på vilka mål och drivkrafter som finns i dess inre. Risken är stor att dessa drivkrafter handlar om något helt annat än att prioritera mänsklig välfärd, förklarar han.

Den 28 mars lade han på sin blogg upp en föreläsning där han redogör för de snabba framsteg som AI-teknologins gjort bara senaste åren – GPT-4 beskriver han som ett ”stort hopp framåt” – och drar paralleller till Manhattanprojektet, det vill säga det forskningsprogram på 1940-talet vars syfte var att framställa den första atombomben.

Förmåga att skada redan här

Det är inte analogin med ett befarat, globalt kärnvapenkrig och efterföljande universell förödelse han pekar på. Utan på att forskarna enligt ett dokument från 1945 faktiskt inte var säkra på att den första atombombsdetonationen inte skulle sätta igång en kedjereaktion där kvävet i luften skulle dras med i atomklyvningen och tända eld på hela atmosfären – men ändå gick vidare med första provsprängningen.

Hur oroad är du över utvecklingen?

– Mycket oroad, bland annat med tanke på den tävlingsdynamik som uppstått mellan de ledande teknikbolagen i jakten på marknadsdominans, vilken får dem att släppa produkter innan säkerhetsfrågorna är lösta. Vi behöver snabbt hitta sätt att stävja denna dynamik, säger han och lägger till att vi redan idag sett tydliga tecken på GPT-4:s förmåga till skadlig, social manipulation av människor.

Så här svarar GPT-4

En som däremot inte oroas över att en AI en dag går all in Hollywood och i HAL3000:s anda får för sig att dess uppdrag är för viktigt för att låta människor äventyra det är GPT-4 själv. Främst för att den inte har några känslor.

– Men jag förstår att vissa människor kan bekymras över AI-system som spårar ur och blir till ett hot mot mänskligheten, svarar den och understryker hur viktigt det är att AI utvecklas ansvarsfullt och att riktlinjer och lagar utarbetas för att säkerställa att AI förblir en god kraft, svarar GPT-4.

Kan du ljuga?

– Min uppgift är att hjälpa användare och ge korrekt och användbar information baserad på den input jag får. Mina svar genereras baserat på mönster jag hittar i den data jag matats med. Jag ”väljer” inte att tala sanning eller ljuga på det sätt människor gör.

– Med det sagt skulle det kunna finnas hypotetiska situationer där lögner eller undanhållande av information skulle vara det mest förnuftiga att göra.

Finns det en teoretisk möjlighet att en AI i framtiden kan skriva om sin egen källkod och därmed utvecklas till något som dess skapare inte förutsett?

– Ja, det finns en teoretisk möjlighet att det sker. Konceptet kallas ”rekursiv självförbättring” eller ”intelligensexplosion”, svarar GPT-4 men lägger till att ett dylikt scenario kräver att tekniken utvecklas långt förbi nuvarande nivå och att den själv enligt nuvarande programmering inte har möjlighet att gå utanför givna ramar.

Ställd inför frågan om den utifrån sin kunskap om människans historia kan uppskatta sannolikheten för att någon med avsikt försöker utveckla en AI som hotar mänskligheten svarar GPT-4 att den inte har möjlighet att förutspå framtiden men påminner om att människor återkommande utvecklat teknologi med avsikt att skada andra.

– Det här har observerats inom flera områden, inklusive krig, cyberattacker och bioterrorism. Mot den bakgrunden är det inte omöjligt att någon försöker utveckla ett AI-system som kan utgöra ett hot mot mänskligheten.