Pattie Maes: “We zijn AI veel te snel aan het introduceren”
MIT-professor waarschuwt voor gevolgen voor cognitieve vaardigheden en mentaal welzijn
Het gebruik van AI is niet zonder risico voor cognitieve vaardigheden en mentaal welzijn, waarschuwt de Belgische computerwetenschapper en onderzoeker Pattie Maes. “We zijn die technologie te snel aan het introduceren, zonder dat we alle consequenties kennen”, zegt ze in een gesprek met Artsenkrant.
Pattie Maes was een van de sprekers op een symposium over AI in de geneeskunde georganiseerd door de Koninklijke Academie voor Geneeskunde*. Ze waarschuwde er voor een onkritische invoering van deze technologie. “Er zijn gespecialiseerde domeinen of taken waar AI beter in is. In de zorgsector denk ik aan administratief werk zoals formulieren invullen voor de verzekering. Maar we moeten voorzichtig zijn als het gaat over diagnose, behandeling en interactie met de patiënt. We mogen er niet op rekenen dat AI die belangrijke taken zal overnemen”, zegt Maes.
Fouten en vooroordelen
Haar scepsis heeft deels te maken met de beperkingen van AI zelf. LLM’s (large language models) zoals ChatGPT en Claude blijven vatbaar voor ‘hallucinaties’, waarbij het model op zeer overtuigende wijze onjuiste informatie of inzichten zal produceren.
“Bovendien weten we meestal niet met welke data een model getraind is geweest, en of die data een bias bevatten", waarschuwt Maes. “In een onderzoek hebben we een AI-agent gevraagd om uit een stapel cv’s de beste kandidaten te selecteren. Wat bleek: die agent gaf voorrang aan mensen met een bekende achternaam, zoals Kennedy of Gates. Een identiek cv van iemand met een minder bekende naam werd lager gerangschikt. AI-systemen zitten vol met dat soort bias waar we ons niet van bewust zijn, maar die wel bepalen of iemand een job krijgt.”
Dat probleem is ook aanwezig in de geneeskunde: de gebruikte data daar zijn namelijk vaak afkomstig van een populatie die overwegend mannelijk, wit en bevoorrecht is. Het gevolg kan zijn dat de diagnose of het behandelvoorstel van de AI de bias in de data reflecteert. “Helaas voelen we ons ook minder verantwoordelijk wanneer AI namens ons handelt”, zegt Maes. “Mensen zeggen dan: de AI maakte een fout, of: de AI nam die bevooroordeelde beslissing; ik was het niet.”
Langdurige afhankelijkheid van AI kan leiden tot verlies van vaardigheden
AI maakt ons dommer
In haar keynote op het symposium verwees Maes naar verschillende onderzoeken die aantonen dat regelmatig AI-gebruik nefast is voor cognitieve vaardigheden. Chatbots zoals ChatGPT hebben AI binnen het bereik van iedereen gebracht, en dus besteden mensen uit gemakzucht hun kritisch denk- en oordeelsvermogen uit. “We willen allemaal tijd besparen, en dan is het verleidelijk om iets aan AI te vragen zonder eerst zelf na te denken.”
Wie niet eerst zelf nadenkt, is sneller geneigd om het antwoord van een AI onkritisch over te nemen (een fenomeen dat automation bias heet). Een studie toonde aan dat zelfs wanneer AI duidelijke fouten maakt, gebruikers in 80% van de gevallen een foutief antwoord accepteren.
Maes vermeldt ook de oplossing voor dit probleem. Uit een onderzoek aan Stanford bleek dat er een goede en verkeerde workflow is om samen met een AI-systeem een diagnose te stellen. De goede aanpak is dat de arts eerst een eigen hypothese vormt, en het AI-systeem op basis van symptomen onafhankelijk hetzelfde laat doen – zoals collega's die onafhankelijke diagnoses met elkaar vergelijken.
Af te raden is de eigen diagnose door AI te laten beoordelen, omdat AI-systemen van nature geneigd zijn om de gebruiker gelijk te geven (het sycofantie-probleem, zie verder). De aanpak waarbij de arts de output van AI beoordeelt zonder eerst zelf nagedacht te hebben, is te vermijden wegens de al vermelde automation bias.
Langdurige afhankelijkheid van AI kan bovendien ook leiden tot verlies van vaardigheden. Uit een studie in The Lancet blijkt dat artsen die AI gebruikten om kanker op te sporen in medische beelden, na verloop van tijd zelf slechter presteerden wanneer ze geen AI mochten gebruiken.
Ook voor motivatie blijkt AI niet zonder risico. Mensen die AI gebruiken, geven sneller op wanneer ze geconfronteerd worden met een lastig probleem dat ze zonder AI moeten oplossen. Hun doorzettingsvermogen nam af, doordat AI mensen conditioneert om direct antwoorden te verwachten.
AI kan tot eenzaamheid leiden
AI heeft ook een negatieve impact op sociale vaardigheden en mentaal welzijn. Het MIT Media Lab heeft een longitudinaal onderzoek uitgevoerd onder duizend mensen. Hieruit bleek een negatief verband tussen langdurig AI-gebruik en de geestelijke gezondheid. Hoe vaker mensen dagelijks AI gebruikten, des te slechter hun geestelijke gezondheid was en des te eenzamer ze zich uiteindelijk voelden.
“Het probleem is vooral dat die AI-systemen sycofantie vertonen: het zijn meepraters die bijna altijd zeggen dat je gelijk hebt”, zegt Maes. Uit onderzoek van Stanford blijkt dat mensen die ChatGPT om raad vragen voor persoonlijke problemen, menselijke relaties minder bevredigend vinden. Mensen durven je namelijk al eens tegen te spreken, terwijl AI het altijd met je eens is.
Maes waarschuwt met name voor de impact hiervan op de mentale gezondheid van jongeren. In de Verenigde Staten praat 72% van de tieners regelmatig met AI. Bij de Amerikaanse meisjesscouts beschouwt 65% hun AI als ‘een vriend’. AI is natuurlijk een aantrekkelijke gesprekspartner, erkent Maes. AI is altijd bereikbaar, geeft je nooit ongelijk, en wil het nooit over eigen problemen hebben. Dat AI-bedrijven hun AI-modellen tegenwoordig ook verpakken in accessoires die je altijd bij je draagt, zoals de ‘Muse Charm’ van Meta, vindt Maes dan ook een verontrustende trend.
Maes wijst ook op een nieuwe mentale aandoening: door AI geïnduceerde psychose. Deze kan ontstaan doordat mensen steeds bevestigende antwoorden van de AI krijgen, waardoor ze als het ware in een andere realiteit verstrikt raken. “Ik heb een hele folder met mails van mensen die mij contacteren over een of andere ontdekking die ze gedaan hebben, of die geloven dat hun AI bewustzijn heeft ontwikkeld. Ze zijn te ver gegaan in de interactie met AI en zo in een spiraal verstrikt geraakt.”
De eindbalans van Maes’ uiteenzetting was ontnuchterend. We onderschatten de impact van AI op het welzijn en het brein van mensen. “AI vergroot het risico op desinformatie en manipulatie, verlies van begrip en kritisch denkvermogen, verminderde leergierigheid en vaardigheidsverlies, psychische problemen en waanbeelden, verlies van zingeving en trots in het werk, en een afname van sociale vaardigheden en onderlinge verbondenheid.” Een gezondheidswaarschuwing voor AI is dan ook op zijn plaats (zie kader).
Een gezondheidslabel voor AI-modellen
MIT Media Lab introduceert een label dat de mogelijke impact van een AI-model op de menselijke gebruiker toont. Het is te vergelijken met een ‘voedingswaardelabel’ voor AI, zegt Pattie Maes.
Bestaande benchmarks voor AI testen vooral de mogelijkheden en prestaties van een model. Er bestonden nog geen benchmarks die kijken naar wat deze AI-systemen met mensen doen, zegt Maes. “Precies dat lanceren we deze week, in nauwe samenwerking met experts op het gebied van geestelijke gezondheid en andere vakgebieden.”
“We willen alle scenario’s in kaart brengen en testen hoe goed een model is voor de gebruiker. Zo kijken we bijvoorbeeld of een model sycofantisch is, gevaarlijke informatie doorgeeft, of de gebruiker probeert vast te houden door de conversatie gaande te houden nadat de oorspronkelijke vraag eigenlijk al is opgelost.”
“De bedoeling is om gebruikers te helpen bij het maken van een keuze voor een model, en hen bewust te maken van de consequenties van AI-gebruik. En natuurlijk willen we ook druk zetten op de AI-bedrijven om veiligere modellen te maken.”
Wie is Pattie Maes?
Pattie Maes is hoogleraar Media Arts and Sciences aan het Media Lab van het befaamde Massachusetts Institute of Technology (MIT). Ze studeerde computerwetenschappen aan de Vrije Universiteit Brussel en onderzoekt al sinds de jaren 90 interactie tussen mens en computer. Ze is een pionier van het concept ‘software agent’, de voorloper van de AI-agents van vandaag.
* De Koninklijke Academie voor Geneeskunde en de Académie royale de Médecine de Belgique bereiden een gezamenlijk advies over AI in de geneeskunde voor. Een voorlopige versie werd op het symposium voorgesteld.