Jens Bäckbom Om Idéer

Ett sätt att upptäcka bias

Detta kommer att förvåna många, men i vissa fall är det möjligt att upptäcka bias i en urvalsprocess (t.ex. rekrytering) utan att veta något om själva ansökningarna. Detta är spännande, för det innebär bland annat att man som utomstående kan avslöja någon annans bias vare sig denne vill det eller ej.

Man kan använda denna teknik så länge (a) man har tillgång till ett slumpmässigt urval av de kandidater som valdes ut, (b) deras prestation efter urvalet har utvärderats och (c) prestationsförmågan är ungefär lika fördelad mellan de grupper man vill jämföra.

Hur fungerar detta? Fundera på vad bias innebär. Att en urvalsprocess förfördelar kandidater av typ x innebär att det är svårare för dem att ta sig igenom urvalsprocessen. Vilket innebär att kandidater av typ x i snitt måste vara bättre än andra kandidater för att ta sig igenom. [1] Vilket i sin tur innebär att kandidater av typ x som tar sig igenom urvalsprocessen borde prestera bättre än övriga kandidater. Men om prestationen mäts så går ju detta att utvärdera i efterhand.

För att detta ska fungera måste du ha en objektiv metod att mäta prestation - åtminstone bör inte din metod ha någon inbyggd bias. Inom vissa områden är det dock ganska rättframt att mäta prestation, vilket gör att det är fullt möjligt att se om rekryteringen förfördelade någon kandidatgrupp: Mät helt enkelt huruvida denna kandidatgrupp presterade signifikant bättre än övriga. Detta är inte bara ett sätt att mäta bias - det är vad ordet bias betyder.

Till exempel så brukar många misstänka att riskkapitalinvesterare förfördelar kvinnliga kandidater. (en studie av DI Digital visade t.ex. att 1 procent av riskkapitalinvesteringar gick till kvinnliga grundare 2019, min anm.). Detta borde vara lätt att utvärdera: Bland riskkapitals portföljbolag, går bolag med kvinnliga grundare signifikant bättre än övriga bolag? Ett riskkapitalbolag gjorde (förmodligen helt oavsiktligt) en studie på detta: First Round Capital analyserade sina portföljbolag och kom fram till att kvinnliga grundares bolag gick 63% bättre än bolag utan kvinnliga grundare. [2]

Anledningen att inledde denna text med att säga att denna teknik skulle förvåna många var att vi så sällan ser analyser av detta slag. Jag tror att även First Round Capital blir förvånade när dom inser att de själva gjort en. Jag skulle tvivla på att någon hos dem insåg att de genom att begränsa urvalet till sin egen portfölj inte i första hand beskrev startuptrender, utan snarare sina egna fördomar i urvalet av bolag.

Jag förutspår att denna teknik kommer att bli vanligare i framtiden. Den data vi behöver för att göra studierna är alltmer tillgängligt. Data kring vem som ansökt till något hemlighålls ofta, men nuförtiden är data kring vem som valts ut publikt tillgängligt för alla som tar sig tiden att aggregera den.

[1] Denna teknik skulle inte fungera om urvalsprocessen utvärderade olika kandidater på olika faktorer - t.ex. om en arbetsgivare utvärderade män på förmåga men kvinnor på utseende.

[2] Som Paul Buchheit noterar så exkluderade First Round sin bästa investering (Uber) ur studien. Men även om det i vissa sammanhang är en god idé att exkludera outliers från data så är inte studier av startups (där avkastningen helt och hållet kommer från outliers) ett sådant sammanhang.

(Essä av Paul Graham i översättning - publicerad med tillstånd av författaren, vars texter i original går att hitta på http://www.paulgraham.com/articles.html.)


Vill du få mail när jag skrivit något nytt?

Lägg in din mailadress och få en uppdatering (max en gång per vecka) när jag skrivit något nytt!