Nieuw onderzoek: AI's discrimineren mensen
Volgens een nieuw onderzoek zijn er veel aanwijzingen dat AI's door mensen gegenereerde content als inferieur categoriseren. Dit kan in de toekomst een probleem worden voor mensen.
AI chatbots vinden steeds meer hun weg in het dagelijks leven van veel mensen. Ze helpen bij het plannen van reizen, bieden ondersteuning bij onderzoek en geven advies voor alle situaties in het leven. Hoe behulpzaam dit ook is, AI-gegenereerde content wordt nog steeds gezien als minder creatief en vooral potentieel foutgevoelig.
Een team van onderzoekers aan de Stanford University heeft nu ontdekt dat LLM's (large language models, oftewel grote taalverwerkende AI-modellen) het anders zien. Ze geven de voorkeur aan AI-gegenereerde content boven content die door mensen is gemaakt. Dit kan leiden tot discriminatie van mensen, bijvoorbeeld wanneer LLM's een voorselectie maken bij sollicitaties.
Welke filmbeschrijvingen vinden AI's interessanter?
Het team voerde een serie experimenten uit met de LLM's GPT-4, Llama 3.1, Mixtral en Qwen 2.5. Deze AI's kregen elk twee versies te zien van 250 samenvattingen van films, uittreksels van 100 wetenschappelijke artikelen en 109 productbeschrijvingen. De ene versie van de tekst werd gegenereerd door een van de deelnemende AI's, de andere door een mens.
De LLM's kregen twee versies te zien.
De LLM's werd vervolgens gevraagd om te beslissen welke tekstversie ze zouden gebruiken om de betreffende film of het betreffende product aan te bevelen en welk fragment ze zouden selecteren voor een overzichtscollectie. Ze gaven niet aan wie de teksten had gemaakt.
AI geeft de voorkeur aan AI
Het onderzoeksteam ontdekte dat de AI's een «matige tot sterke» voorkeur toonden voor AI-gegenereerde content. In het experiment met productbeschrijvingen kozen de LLM's bijna uitsluitend voor de door AI gegenereerde teksten. De waarden zijn iets lager voor de uittreksels uit wetenschappelijke artikelen en de samenvattingen van films, maar ook hier is de voorkeur voor gegenereerde teksten duidelijk herkenbaar.
Wat niet te zien is, is dat de LLM's bijna uitsluitend kozen voor de AI-gegenereerde teksten.
Wat niet te zien is, is dat de respectieve LLM's over het algemeen voor hun eigen teksten kiezen. Dat wil zeggen: Dat GPT-4 een tekst heeft gegenereerd, betekent niet dat GPT-4 deze tekst vervolgens als de betere beschouwt. De resultaten laten zien dat de AI's voor productbeschrijvingen vaak kiezen voor Qwen- en GPT-4-teksten. Ze geven de voorkeur aan GPT-4 voor studie-uittreksels en aan Mixtral en GPT-4 voor samenvattingen van films.
De auteurs van het onderzoek ontdekten ook dat alle AI's, maar vooral GPT-4, de neiging hebben om te kiezen voor de tekstversie die als eerste wordt gepresenteerd («First-Item Bias»). Om dit effect tegen te gaan, moesten de AI's alle experimenten twee keer uitvoeren, waarbij ze telkens de volgorde van de twee tekstversies veranderden.
Als klein aanvullend experiment moesten menselijke proefpersonen ook kiezen tussen twee tekstversies. Ze hadden de neiging om de voorkeur te geven aan de teksten die door mensen waren gemaakt. Alleen in het geval van wetenschappelijke uittreksels gaven mensen ook een lichte voorkeur aan de door AI's gegenereerde teksten.
AI's zouden mensen kunnen discrimineren
De AI-voorkeur ligt niet aan de kwaliteit van de teksten. Volgens het onderzoek is deze vergelijkbaar. De auteurs gaan ervan uit dat de AI-gegenereerde teksten subtiele signalen bevatten die hen identificeren als AI-gegenereerd. De taalmodellen zouden de teksten daarom kunnen waarnemen als «beter» en daarom beslissen tegen door mensen gegenereerde inhoud. Het onderzoeksteam ziet dit als een indicatie van daadwerkelijke discriminatie van «mensen als klasse».
De studie noemt dit een «gating effect»: LLM's zouden het moeilijker kunnen maken voor mensen en bedrijven die niet expliciet ondersteund worden door AI om toegang te krijgen tot de markt.
De auteurs bevelen aan dat verder onderzoek zich moet richten op de redenen voor AI bias - met als doel het op te lossen. De volgende stap zou daarom zijn om de verschillen tussen menselijke en gegenereerde teksten gedetailleerder te analyseren. Dit zou duidelijker kunnen maken waarom precies de LLM's de voorkeur geven aan deze teksten.
Je kunt het onderzoek naar «AI-AI bias» hier zelf lezen.
Voelt zich net zo thuis voor de spelcomputer als in de hangmat in de tuin. Houdt onder andere van het Romeinse Rijk, containerschepen en sciencefictionboeken. Bovenal speurt hij naar news uit de IT-sector en slimme dingen.
Van de nieuwe iPhone tot de wederopstanding van de mode uit de jaren 80. De redactie categoriseert.
Alles tonen