Varningen gäller så kallade AI-agenter med mänsklig framtoning, som chatbotar och digitala ”flickvänner”, som har möjlighet att samla in stora mängder intim, psykologisk data från användaren. I kombination med en förmåga att kommunicera på ett sätt som upplevs som tröstande pekar forskarna på risken för att mänskliga intentioner manipuleras och kommersialiseras.

– Enorma resurser läggs på att placera AI-assistenter inom alla områden i livet, vilket bör väcka frågan om vems intressen och syften dessa så kallade assistenter är utformade för att tjäna, säger Yaqub Chaudhary, gästforskare vid Cambridges Leverhulme centre for the future of intelligence, LCFI, i ett pressmeddelande.

Från uppmärksamhet till avsikt

I flera årtionden har användares uppmärksamhet varit internetvalutan framför andra. I takt med att generativ AI utvecklas förutspår Cambridgeforskarna en övergång till ”avsiktsekonomi”. Företag med AI-kompetens kommer att till högstbjudande kunna sälja information om användares drivkrafter, gällande alltifrån hotellvistelser till åsikter kring politiker inför ett val.

Det gör att företag och andra aktörer på ett mer träffsäkert sätt kommer att kunna förutsäga och styra potentiella kunders beteenden.

– Om avsiktsekonomin inte regleras kommer den att behandla dina drivkrafter som den nya valutan. Det kommer att bli en guldrusch för dem som riktar in sig på, styr och säljer mänskliga avsikter, säger Jonnie Penn, teknikhistoriker vid LCFI.

– Vi bör börja fundera på vilken inverkan en sådan marknad sannolikt skulle ha på mänskliga drivkrafter – inklusive fria och rättvisa val, fri press och rättvis konkurrens på marknaden – innan vi faller offer för dess oavsiktliga konsekvenser.

Ny teknik pekar ut vägen

Företaget Metas AI-agent Cicero sägs kunna spela sällskapsspelet Diplomacy på samma nivå som en människa. Det är en förmåga som förutsätter att agenten kan härleda och förutsäga motspelarnas avsikter samt kommunicera på ett övertygande sätt. Cicero är enligt Yaqub Chaudhary därför ett exempel på hur långt AI har kommit vad gäller att kommunicera med och manipulera människor.

Elektronikföretaget Nvidias vd har pratat öppet om att använda språkmodeller – den typ av generativ AI som används för chatbotar som Chat GPT – för att analysera användares drivkrafter och begär. Meta lanserade forskning inom mänskliga motivationer redan 2021.

Utvecklingen är enligt Jonnie Penn inte nödvändigtvis destruktiv. Men den har stor potential att vara det. Regleras inte tekniken kommer den att kunna spela både företag och antidemokratiska krafter i händerna.

– Allmänhetens medvetenhet om vad som är på väg är nyckeln till att se till att vi inte slår in på fel väg, säger han.