Idag, den 25 maj, börjar en ny lagstiftning gälla i samtliga av EU:s medlemsländer. Det handlar förstås om dataskyddsförordningen GDPR som har för avsikt att stärka den personliga integriteten, och som du förmodligen har fått ett antal mejl om den senaste veckan.
BRA JOURNALISTIK ÄR INTE GRATIS
Gillar du det vi gör?
Swisha en peng till: 123 401 876 8
I Sverige ersätter GDPR den tidigare personuppgiftslagen, PUL. Nya och i många fall strängare krav ställs nu på företag och hur dessa ska handskas med känsliga personuppgifter. Den amerikanska matematikern, datavetaren och författaren Cathy O’Neil tror dock inte att GDPR går till roten med problemen.
– Det är positivt att EU får tydligare regler på området, men jag anser att lagen inte är tillräckligt välformulerad. Det kommer fortfarande att vara möjligt att bygga upp och använda skadliga algoritmer, säger Cathy O’Neil när Dagens ETC träffar henne under vintern 2017.
”Finns en övertro att algoritmerna är neutrala och rättvisa”
Så vad är då en ”skadlig algoritm”? Föreställ dig följande scenario: Du jobbar som lärare. Dina arbetsinsatser utvärderas av en algoritm, och du tilldelas poäng baserat på hur dina elever presterat. Om du lyckas kamma hem tillräckligt med poäng får du en bonus – om du däremot får ett lågt värde blir du istället avskedad. De exakta detaljerna för hur poängsystemet fungerar är dock inte offentliga, utan en affärshemlighet hos företaget som utvecklat algoritmen.
Detta är, något förenklat, ett av många exempel på skadliga algoritmer som Cathy O’Neil beskriver i sin bok ”Weapons of math destruction”. Det tidigare nämnda systemet är idag implementerat i vissa amerikanska delstater, med konsekvensen att lärare avskedas på löpande band i socialt utsatta områden där eleverna presterar dåligt i skolan.
– Det finns en övertro på att dessa algoritmer är neutrala och rättvisa, men så är inte fallet. På grund av att algoritmerna har en matematikstämpel på sig litar folk på dem, eller känner sig avskräckta från att ifrågasätta, säger Cathy O’Neil.
Även implementerat i Sverige
Cathy O’Neils bok, som i huvudsak fokuserar på det amerikanska samhället, räknar upp flera fall av skadliga algoritmer:
Personlighetstester i samband med arbetsansökningar. System som räknar ut återfallsrisken hos förövare, och därmed avgör tiden för deras villkorliga frigivning. Algoritmer som bedömer kreditrisken hos låntagare.
– Dessa diskriminerande algoritmer har en omfattande spridning i samhället och påverkar väldigt många människor. En annan riskfaktor är att det ofta saknas transparens kring hur algoritmerna funkar. Det gör att människor har svårt att se hur de påverkas, och det är komplicerat att ställa någon till svars om man blir orättvist behandlad, säger Cathy O’Neil.
Även i Sverige förekommer algoritmbaserade beslut, både bland myndigheter och företag. Trelleborgs kommun har exempelvis installerat en robot som ska avgöra ärenden om försörjningsstöd.
”Krävs ordentlig lagstiftning”
En stor del av diskussionen på området handlar i dag om sociala medier, i synnerhet Facebook. Användarnas nyhetsflöden baseras på personligt anpassade algoritmer, vilket har lett en till oro om så kallade ”filterbubblor” där folk endast möts av information som bekräftar deras rådande världsbild.
Även riktade politiska budskap utnyttjar dessa algoritmer – en fråga som hamnat högt på agendan i kölvattnet av Cambridge analytica-skandalen.
Går det att göra något som individ för att undvika algoritmernas påverkan? Exempelvis sluta använda Facebook?
– Nej. Om du slutar använda Facebook kommer du kanske att slippa riktad marknadsföring och politisk propaganda. Men du kommer fortfarande att påverkas av olika algoritmer när du söker jobb, när du utvärderas som medarbetare, när du ansöker om lån och så vidare.
– Det som krävs för att stävja det här är lagstiftning. En ordentlig lagstiftning som kräver transparens kring hur algoritmerna fungerar. Som genomlyser dem så att de inte är diskriminerande, och som möjliggör att någon kan ställas till svars för eventuella orättvisor, säger Cathy O’Neil.
