Het biased AI probleem
4 februari 2019
Farisch Hanoeman – Founder School of Data Science & Data Science Trainer
Een biased AI is een probleem dat zich al op verschillende manieren heeft gemanifesteerd in de samenleving. Van criminaliteit voorspellende machines die biased zijn tegen de Afro-Amerikaanse bevolking tot AI-recruitment machines die vrouwen discrimineren. Hoe leren we bias herkennen en wat kunnen we eraan doen?
Verzamelen van data
Hoofdzakelijk zijn er twee manieren waardoor je trainingsdata biased kan raken: de data representeert niet de realiteit of komt voort vanuit een systeem dat al biased is. Een voorbeeld van misrepresentatie van realiteit is een dataset waarin er meer foto’s met blanke gezichten voorkomen dan donkere gezichten. Hierdoor konden bijvoorbeeld facial recognition systems donkere vrouwen niet herkennen als vrouw. Een voorbeeld van een dataset dat voortkomt uit een biased systeem, is de casus van Amazon: de dataset bestond uit alle voorgaande wervingen. Echter, was het wervingsbeleid al biased; er ging een voorkeur uit naar mannen. Hierdoor gaf ook het gebouwde systeem uiteindelijk strafpunten aan CV’s waar het woord ‘women’ in voorkwam (bijvoorbeeld ‘women chess club captain’) of waar de sollicitant op een ‘all women’s college’ had gestudeerd.
Verzamelen van data
Ingebakken bias
Waar bias vandaan kan komen is tijdens het creëren van het model niet altijd makkelijk te overzien. Zelfs wanneer de bias later wordt ontdekt, kan het erg lastig zijn de bias uit het model te krijgen. Toen bijvoorbeeld de bouwers van het model van Amazon erachter kwamen dat vrouwelijke kandidaten werden gediscrimineerd, werd er geprobeerd om woorden die het geslacht konden aanduiden te weren uit het model. Uiteindelijk bleek dit tevergeefs, omdat ook de stijl waarin een CV geschreven was kon aanduiden of het om een man of om een vrouw ging. Uiteindelijk kon dit niet eruit gefilterd worden.
Imperfect test proces
Het test- proces van een deep-learning model is niet ontworpen om bias in een systeem te kunnen herkennen. Het deep-learning model wordt namelijk getest door de dataset willekeurig te verdelen in een set dat bedoeld is om het model te trainen (train set) en een set dat bedoeld is om het model te testen (test set). Hierdoor zit de bias in beide datasets en zal dus niet herkend kunnen worden door deze methode.
Verkeerde context
Modellen die getraind zijn binnen een bepaalde context kunnen niet altijd buiten deze context ingezet worden. Neem als voorbeeld een model dat heel goed is in het voorspellen of iemand zijn lening zal afbetalen. Dit model kan getraind zijn met data uit de Amerikaanse markt. Hierdoor zal het model hele andere uitwerkingen kunnen hebben wanneer het ingezet wordt binnen andere markten met andere socio-economische omstandigheden. Een gevolg zou kunnen zijn dat aanvragers van leningen onterecht afgekeurd kunnen worden.
Wat is eerlijk?
De definitie van een unbiased systeem is niet altijd even helder. Terug naar het geval van het criminaliteit voorspellende model: heeft een unbiased systeem dezelfde verdeling blank/Afro-Amerikaans als de huidige populatie van het gevangeniswezen (dat misschien al wel biased is)? Of dezelfde verdeling als de gehele populatie van Amerika? Of zou de verdeling gelijk moeten zijn? De definitie van ‘eerlijk’ is niet altijd even helder.
Conclusie
Er is nog veel te doen rondom de bewustwording en eventuele preventie
van bias. Er zullen daarom nog vele ethische en technische discussies
volgen rondom dit onderwerp. Gelukkig zijn er vele initiatieven die
helpen bij het detecteren en het verhelpen van bias. Zo heeft IBM de AI Fairness 360 toolkit voor het detecteren en verhelpen van bias. Ook is er het Gender Shades project voor gender classificatie modellen en worden er nog steeds onderzoeken ([1],[2],[3]) gedaan om dit probleem te verhelpen.
Wil jij ook Data Science technieken begrijpen en toepassen?
“Ideale training om bekend te worden op het gebied van Data Science. De trainer weet een uitdagend programma met verschillende onderdelen op een leuke en luchtige manier over te brengen, helemaal afgestemd op het niveau van de cursisten. Door goed te coachen en altijd bereikbaar te zijn voor eventuele vragen (ook na de training) stelt hij je in staat om in korte tijd veel te leren.”
5/5
Daan Sloothaak – Business & Data Analist bij TPS