Discriminatie en stereotypering in algoritmes & AI: deze vragen zou je jezelf moeten stellen

Figuur 1 Photo by Roman Synkevych on Unsplash

Artificial Intelligence en algoritmes zullen langzaam maar zeker de wereld overnemen, zo is de voorspelling. Dit zien we tot op heden voornamelijk gebeuren in onze nieuws- en social media feeds, maar het speelveld breidt zich steeds verder uit. Dit brengt een hoop vragen met zich mee. Deze gaan vaak over privacy, controle en macht, maar minder vaak (lees te weinig) over discriminatie en vooroordelen. Hoe manifesteren deze sociale problemen zich in technologie en hoe gaan we dit tegen?

Bewuste en onbewuste discriminatie

Discriminatie komt voor in vele verschijningen, soms direct herkenbaar, soms onderhuids en minder tastbaar. De toeslagenaffaire is een duidelijk voorbeeld van bewuste discriminatie: de Belastingdienst gebruikte data over het hebben van een tweede nationaliteit als selectiecriterium om een verhoogd risicoprofiel voor fraude toe te kennen. Hierbij wordt er dus onderscheid gemaakt tussen burgers op basis van afkomst. Van dit soort praktijken wil en moet je als organisatie uiteraard altijd ver uit de buurt blijven.

Er is ook iets als onbewuste discriminatie, in Amerika wordt dit ook wel disparate impact genoemd. Hierbij vindt discriminatie indirect plaats. De opgestelde regels, procedures of algoritmes lijken in dit geval neutraal te zijn, maar bij nadere inspectie blijkt er indirecte discriminatie plaats te vinden. Dit zou, in het geval van de toeslagenaffaire bijvoorbeeld, kunnen gebeuren wanneer de wijk waarin je woont wordt meegenomen als selectiecriterium. In eerste instantie lijkt dit een neutraal criterium, maar wanneer je verder kijkt, zou kunnen blijken dat groepen met een bepaalde afkomst oververtegenwoordigd zijn in deze wijken. Deze vorm van (onbedoelde) discriminatie komt bijzonder vaak voor in algoritmes en AI’s.

Menselijke factor

Bij termen als artificial intelligence en algoritmes hebben mensen voornamelijk een associatie met de technische aspecten ervan. De lijn tussen techniek en discriminatie wordt niet snel gelegd, discriminatie is immers een puur menselijk verschijnsel. Er wordt echter vergeten dat er een menselijke hand schuilt achter algoritmes en AI’s.

Kortgezegd is een algoritme een wiskundige formule die een bepaald probleem oplost. Of in andere termen: het is een (eindige) set instructies die naar een bepaald doel toe leidt. Deze instructies, en het doel dat hiermee bereikt wordt, zijn afkomstig van een programmeur. Uiteindelijk bepaald hij of zij de criteria die gebruikt worden om keuzes op te baseren. De techniek bij een AI gaat nog een stapje verder. Dit is een algoritme dat zelf lering trekt uit data. Hierbij heeft de mens dus vooral invloed op de data die aan het algoritme wordt gegeven.

Hier volgen twee voorbeelden van discriminatie en stereotypering in algoritmes en AI’s.

Amazon’s werving algoritme

In 2014 begon een team van machine-learning specialisten met de ontwikkeling van een algoritme dat kon helpen bij de selectie van geschikte kandidaten voor vacatures. Het ging hierbij om technische functies. Het uiteindelijk doel was een algoritme dat een digitale stapel van 100 CV’s kon terugbrengen tot een selectie van de vijf meest geschikte kandidaten. Al snel bleek dat dit self-learning algoritme vrouwen discrimineerde.

Als input waren alle sollicitatiebrieven gebruikt die gedurende de afgelopen tien jaar waren ingestuurd. Dit is neutrale data, zou je zeggen. Aan het algoritme de opdracht om patronen te herkennen in deze data en hier conclusies uit te trekken. Gezien de technologiesector altijd al door mannen gedomineerd is en deze dus ook vaker solliciteren, trok het algoritme de conclusie dat vrouwen automatisch minder geschikt waren voor de baan. Toch niet zo neutraal dus…

Gender bias in voice assistants

Voice assistants Siri, Cortana, Alexa en Google Assistant betraden de markt met vrouwelijke stemmen. Bij Cortana en Alexa duurde het jaren voor er mannelijke stemmen werden toegevoegd. Nog altijd is de vrouwelijke stem bij elk van de voice assistants de standaardinstelling. Waarom is dit een slechte zaak? Het gebruik van een vrouwelijke stem is op zich geen probleem, maar de manier waarop deze vrouwelijke assistenten zich profileren is zeer problematisch. Uit een onderzoek van UNESCO (2019) blijkt dat deze voice assistants gender stereotypen bevestigen en seksisme in de hand werken door het gebruik van een volgzaam, “eager-to-please” en onderdanig karakter dat verbaal geweld accepteert.

Ter illustratie: tot voorkort reageerde Siri met een onderdanige: “I would blush if I could” op de uitspraak “You’re a slut”. Daarnaast geeft UNESCO aan dat we een vrouwelijke helper prefereren, omdat we ons comfortabeler voelen bij het commanderen van vrouwen dan van mannen. Een sociaal construct dat juist zo snel mogelijk afgebroken zou moeten worden.

Onbedoelde discriminatie en gender biases kunnen makkelijk over het hoofd worden gezien. Om dit te voorkomen, doe je er goed aan jezelf de volgende drie vragen te stellen bij de ontwikkeling van technologieën:

Draagt mijn AI bij aan de instandhouding van stereotypes?

Het gebruik van een vrouwelijke of mannelijke stem of karakter voor een chatbot of voice assistant is op zich geen verkeerde keuze. Wel is het belangrijk om jezelf af te vragen waarom je voor een man of vrouw kiest. Kies je voor een vrouw puur omdat het om een behulpzame assistent gaat? Dan zou je je kunnen afvragen of dit wel wenselijk is. Mogelijk is een genderneutrale assistent in zo’n geval een betere optie. Kies je wel voor een vrouw, stel dan een unieke botpersona op en stick to it. Dit helpt je ook nog eens om je te onderscheiden!

Zijn de criteria en data die ik gebruik daadwerkelijk neutraal?

We leven in een bevooroordeelde wereld waarin het idee van gelijke kansen voor iedereen nog altijd een utopie is. Wanneer je data uit het echte leven gebruikt, zal deze vaak een niet-ideale situatie schetsen. Door deze data ongefilterd in een algoritme of AI te stoppen, zal er een niet-ideale uitkomst uit voortkomen. We moeten er proactief op letten dat de data en criteria die we gebruiken iedere groep gelijkwaardig representeert en niet tot discriminatie leiden.

Het kan ook helpen om gegevens over bijvoorbeeld geslacht of ras volledig uit de data te verwijderen. In het geval van Amazon’s werving algoritme, had dit onderscheid tussen mannen en vrouwen kunnen voorkomen.

Figuur 2 Photo by Christina @ wocintechchat.com on Unsplash

Hoe divers is het team dat meewerkt aan de technologie?

De tech wereld wordt gedomineerd door (witte) mannen, wat maakt dat producten een eenzijdig perspectief meekrijgen. Ga je een team samenstellen voor de ontwikkeling van een nieuw algoritme of AI? Onderzoek dan welke mogelijkheden je hebt om het team zo divers mogelijk te maken. Hierbij kan je denken aan mensen van verschillende geslachten en nationaliteiten, maar ook aan mensen uit verschillende disciplines. Laat naast technici ook eens een psycholoog of socioloog meekijken of het product reviewen.

AI en algoritmes leveren ons enorm veel op in de vorm van tijd, geld en vergroting van het levensgemak. Laten we alleen niet vergeten kritisch te blijven op de impact die deze technologieën hebben. Door ze in te zetten om gedrag in positieve zin te veranderen, slaan we twee vliegen in één klap.

Geef een reactie

Het e-mailadres wordt niet gepubliceerd. Vereiste velden zijn gemarkeerd met *