”Arbetsgivare är inte medvetna om att de redan nu använder sig av AI och annat automatiserat beslutsfattande, till exempel vid rekrytering eller i det löpande arbetsledande personalarbetet såsom vid hanteringen av lönesystem. Det innebär att det finns en risk att dessa tekniska lösningar både är väl integrerade i vardagen och ändå ibland är okritiskt och omedvetet betrodda av de personer som använder dem," står det i rapporten.

Svårt att ta ansvar

DO anser att utomstående parter behöver kunna granska AI-systemen för diskriminering, men noterar samtidigt att många stora nätbolag motsätter sig insyn i deras verksamhet. Det i sin tur gör att arbetsgivare har svårt att ta sitt ansvar.

”Det finns en överhängande risk att varken företagen eller rekryterarna kan kontrollera hur de AI-system som ingår i den digitala matchningen av kandidater via sociala medier eller andra trepartstjänster för rekrytering faktiskt säkerställer att de inte diskriminerar. Utan möjlighet till ansvarsutkrävande riskerar felaktiga eller diskriminerande AI-system att inte upptäckas och åtgärdas," enligt rapporten.

Lär sig ojämlikhet

DO ser också en risk för så kallad ”automation bias", det vill säga att personer okritiskt accepterar utfallet av automatiserat beslutsfattande som något neutralt, objektivt och värderingsfritt.

En anledning till att AI kan spä på diskriminering är för att träningsdatan som används vid maskininlärning speglar ojämlikheter som existerar i samhället, eller att den inte är representativ för alla samhällsgrupper.