Nya AI-lagar ska stoppa fördomsfull AI-rekrytering
Rekrytering med hjälp av AI blir allt vanligare. Samtidigt ökar antalet rättsfall om AI-bias och diskriminering. Och medan vissa blundar för riskerna satsar andra på mänsklig övervakning, ”white-box AI” och transparenta algoritmer. Allt för att försöka eliminera de oönskade effekterna.
Antalet experter som varnar för AI-hallucinationer och fördomsfulla AI-algoritmer, även kallat AI-bias eller bias amplification, blir allt fler. Inte minst inom rekrytering. För fallen börjar bli många nu, vilket får lagstiftarna att sakta strama åt remmarna.
Ändå är AI-bias är ingen ny upptäckt. Många har redan stött på chatbotar som kör sitt eget race – eller spottar ut fördomar till höger och vänster. Se till exempel på Goldman Sachs och Bank of America, som båda satsade på chatbotar för kundservice. Men där kvinnliga besökare fick otrevliga, nedlåtande svar och blev bemötta med stereotypa antaganden.
Även leveransfirman DPD har haft utmaningar. Deras chatbot började snabbt svära och skämta, inklusive skriva nedvärderande dikter om företaget som världens sämsta leveransföretag.
Ändå fortsätter antalet AI-botar att öka. Vilket troligtvis kommer innebära att vi snart ser ännu fler av dem även på jobb- och karriärsidor. Men hur kommer generativ AI att hantera avvisade och frustrerade jobbsökare? Kommer botarna att bete sig? Eller visa samma frustration tillbaka?
Rättsfall om AI-bias
Som alltid vid rekrytering och beslutsfattande finns det bias. Men faktum är att många rekryteringssystem har en bias som är så utbredd, men omedveten, att den drabbar otaliga. Såväl arbetsgivare som deras kandidater.
Det mest omtalade caset om omedveten AI-bias – vilket troligtvis är världens första rättsfall kring fördomsfull AI – kommer från det amerikanska bolaget iTutorGroup. I fjol blev de nämligen stämda för åldersdiskriminering. Kort sagt hade företaget avvisat kvinnor över 55 år och män över 60 år via automatiserad AI i rekryteringssystemet. Fallet slutade med en överenskommelse där iTutorGroup fick betala 365 000 dollar till en grupp jobbsökare över 40 år.
Ett annat pågående fall, som ej ännu prövats, handlar om Workday Inc.’s screening-verktyg. Bolaget är stämt för att ha diskriminerat äldre och svarta kandidater, liksom sökande med funktionsnedsättning. Allt på grund av sina automatiserade urval.
Trots detta räknar Market Research med att 26 % av all AI-utveckling inom HR i år kommer att fokusera på rekrytering. Och guess what? Generativ AI och olika typer av botar står för en stor del av den här utvecklingen.
Premierar män och yngre medarbetare
Parallellt blir digital ageism ett allt hetare ämne, särskilt när det gäller screening av jobbkandidater. En rapport från The Gerontologist visar att många nya AI-system inom rekrytering är skapade av yngre utvecklare. Detta kan leda till att äldre jobbsökande missgynnas eller exkluderas, eftersom gränssnitt och användarupplevelser inte är anpassade för dem.
Sen har vi det som kallas algorithmic gender discrimination. Som när en kreditinstitution ger mannen i en familj 20 gånger högre kredit än sin fru, fastän hon både har högre lön och kreditvärdighet.
Även Linkedin råkade ut för något liknande för några år sedan. Deras jobbmatchningsalgoritm visade bias genom att matcha sökande som den trodde skulle vilja söka jobbet, inte de som var mest kvalificerade. Resultatet? Män fick fler möjligheter.
Bias i AI-bilder
Mycket pekar på att generativ AI har inbyggda bias som en konsekvens av att det på flera områden saknas rättvis träningsdata. Speciellt i de fall som AI används i bildproduktion.
Googles Gemini var nyligen i blåsväder och när Bloomberg granskade över 5 000 AI-genererade bilder, upptäckte de något intressant: bilder som skulle representera personer i högavlönade yrken visade människor med ljusare hudtoner. Samt att de flesta högkvalificerade roller blev gestaltade av män.
En annan studie, den här gången på Midjourney-verktyget från Rest of World, visade också en tydlig könsbias. När ordet ”person” användes, visade AI:n bilder på män i 99 % av fallen, oberoende av vilket land personen skulle vara från. Men i USA var det en helt annan historia – där fick man 94 bilder på kvinnor, fem på män och en skrämmande mask. Sannolikt har kvinnor varit överrepresenterade i den amerikanska träningsdatan.
Inte undra på att kravet på transparens inom AI ökar.
En stor del av trycket på transparens kommer från EU:s nya AI-lagstiftning – The New AI Act. Som EU stolt vill kalla för världens första AI-lagstiftning.
Lagen syftar att ta tag i den påverkan som AI har på individer och samhället, samt delar upp AI-användningen i låg- och högriskkategorier. Föga förvånande hamnar HR och rekrytering under högriskklassificeringen, vilket innebär strikta regler och kontroller.
Konkret betyder det att rekryterings- och HR-system måste vara transparenta med hur de använder AI, inte minst mot sina jobbsökare. Och om en arbetsgivare använder en AI-bot, måste det vara klart och tydligt.
Vidare måste AI-systemen kunna visa att deras träningsdata är relevant, representativ, tillräcklig och fri från bias. Loggar och teknisk dokumentation ska vara tillgängliga. Och väldigt viktigt: AI-processerna måste alltid bli övervakade av människor.
Kort och gott måste de som köper och använder systemen ställa hårda krav på sina AI-leverantörer.
Rekryterings- och HR-system måste vara transparenta med hur de använder AI, inte minst mot sina jobbsökare.
Inkluderande AI som begrepp
Samtidigt som EU-lagen snackas det mycket om AI-etik och så kallad white-box AI. Faktum är att en del mjukvaruföretag redan är på bollen och visar upp hur de jobbar med AI. Helt transparent.
Ta Tengai, till exempel. De har lagt ut sin AI-etik synlig för alla på sin hemsida. Och IBM, med sin Trusted AI Initiative, erbjuder ett ”AI Fairness 360 toolkit” för företag. Accenture är inte långt efter med sitt ”Responsible AI Framework”.
Sen har vi de som kör på konceptet ”inkluderande AI”. Här bjuds externa parter in att granska koden och träningsdata, allt för att säkerställa en schysst AI. Vissa teamar också upp sig med företag som är specialiserade på att skapa mer diversifierad AI-data. Ett coolt exempel är Latimer – en plattform som är tränad med källor från mindre representerade kulturer och deras historier. Allt för att leverera mer rättvisa och inkluderande svar.
På Ada Digital tror vi på digital utveckling och en digital affär med framåtanda. Där både människor och teknik får plats. Samspelar. Och samexisterar.
Därför tror vi också att fler arbetsgivare behöver utmana traditionella IT-rekrytering. Ha en agil och insiktsdriven search- och datadriven rekryteringsprocess där man i realtid skruvar och vrider för att få fram det unika i varje tjänst. Men också bemöter kandidaterna med nyfikenhet och medmänsklighet.
Vi behöver helt enkelt skapa en IT-bransch som ser bredare på kompetens och som är öppen för alla som har potential, och där vi är i ständig rörelse.
Vill du också anlita ett rekryteringsföretag och konsultbyrå som är nischade inom IT samt agil, datadriven produktutveckling? En partner med förståelse för ny teknik och digitalisering? Varmt välkommen att höra av dig!
Trenden om AI-bias är en del av Ada Digital och TNG:s populära trendspaning på temat ”Coexistence” från Unbiased Day 2024 – ett trend- och rekryteringsevent för chefer, företagsledare och HR.
