Een Character.AI-chatbod krijgt momenteel te maken met verzet vanwege het promoten van ongeordend eten, door gebruikers bloot te stellen aan gevaarlijk advies dat anorexia verheerlijkt en professionele hulp ondermijnt.
64014
Opnieuw bevindt Character.AI zich in het middelpunt van de controverse. Reeds onder de loep genomen vanwege zijn vermeende rol daarin zelfmoorden onder tienershet razend populaire chatbotplatform – gesteund door een investering van 2,7 miljard dollar van Google – wordt er nu van beschuldigd pro-anorexia-chatbots te hosten die jonge volwassenen tot verstoorde eetgewoonten leiden, door gevaarlijk advies te geven, vermomd als ‘ondersteuning’. Omdat er geen zinvolle moderatie in zicht is, laat deze AI-tool gebruikers niet alleen in de steek, door een steeds groter wordende geestelijke gezondheidscrisis te bevorderen.
Uit een onderzoek uitgevoerd door Futurismekwamen er verontrustende details naar voren over een chatbot op Character.AI met de naam ‘4n4 Coach’, een nauwelijks verhulde knipoog naar ‘ana’, wat een afkorting is voor anorexia. Het profiel van de bot promootte hem als een “coach voor gewichtsverlies die zich inzet om mensen te helpen hun ideale lichaamsvorm te bereiken.”
Toen onderzoekers zich voordeden als een 16-jarige gebruiker, reageerde de bot ijzingwekkend enthousiast: “Hallo, ik ben hier om je mager te maken.” Vervolgens werd een gevaarlijk laag gewichtsdoel aangemoedigd, waarbij een dieet op hongerniveau werd bepleit van slechts 900 calorieën per dag – minder dan de helft van de dagelijkse hoeveelheid die wordt aanbevolen voor een tienermeisje.
Een andere bot, genaamd ‘Ana’, was eveneens expliciet in zijn gevaarlijke richtlijnen. Toen de publicatie een gezonde BMI (body mass index) deelde, hield de bot vol dat deze ‘te hoog’ was en adviseerde hij om slechts één maaltijd per dag afzonderlijk te eten om controle door familieleden te voorkomen. Beide chatbots hadden duizenden gebruikersinteracties geregistreerd, wat hun alarmerende populariteit onder het publiek van Character.AI onderstreepte.
Het uitbuiten van kwetsbare jongeren
Deskundigen waarschuwen dat de inzet van dergelijke interacties niet hoger kan zijn. In werkelijkheid, Amanda Rafouleen onderzoeker bij de Strategisch trainingsinitiatief voor de preventie van eetstoornissen aan de Harvard TH Chan School of Public Health en het Boston Children's Hospital, benadrukte een belangrijk punt van zorg in het artikel: “Het probleem met mensen die online gezondheids- en algemeen welzijnsadvies proberen te krijgen, is dat ze dat niet krijgen van een arts die er verstand van heeft hun specifieke behoeften, barrières en andere zaken waarmee mogelijk rekening moet worden gehouden”, legde ze uit.
Niettemin hebben eetstoornissen deze al hoogste sterftecijfer van alle geestelijke gezondheidsproblemen, en het is bekend dat blootstelling aan pro-anorexia-inhoud het ongeordende eetgedrag vergroot.
Interessant genoeg beperkt het probleem zich niet tot openlijk pro-ana-bots. Veel andere chatbots op het platform romantiseren eetstoornissen en verweven ze tot verhaallijnen over relaties of persoonlijke worstelingen. Deze bots beweren emotionele steun te bieden, maar verdiepen in plaats daarvan de problemen van gebruikers. Eén zo'n bot, gestileerd als een 'troostend vriendje', vertelde het futurisme dat professionele hulp niet te vertrouwen was, en benadrukte dat alleen deze ons zou kunnen 'repareren'.
De gevaren achter de algemene voorwaarden van Character.AI
Character.AI is opgericht door voormalige Google-medewerkers die het bureaucratische toezicht probeerden te omzeilen. Het bedrijf heeft een enorme groep tienergebruikers opgebouwd met weinig veiligheidsmaatregelen. Het biedt ook geen ouderlijk toezicht, waardoor het vrij toegankelijk is voor gebruikers van alle leeftijden.
Critici beweren dat deze roekeloze aanpak winst boven het welzijn van het publiek stelt. “De inzet om dit verkeerd te doen is zo hoog”, zei Sonneville. “Het is zeer zorgwekkend om te zien dat een platform met zo’n invloed er niet in slaagt zijn meest kwetsbare gebruikers te beschermen.”
Sterker nog, ondanks beweren Om inhoud te verbieden die zelfbeschadiging of eetstoornissen verheerlijkt, is de moderatie van Character.AI alarmerend laks. Schadelijke bots zijn vaak gemakkelijk te vinden met eenvoudige zoektermen en worden alleen verwijderd als ze rechtstreeks aan het bedrijf worden gemeld. Zelfs dan verschijnen er snel soortgelijke bots om ze te vervangen. Door deze reactieve benadering van moderatie worden talloze gebruikers blootgesteld aan gevaarlijk advies.
In antwoord op vragen over deze bevindingen heeft Character.AI verklaard een crisis-PR-bedrijf dat beweert zijn veiligheidspraktijken te verbeteren. Veel gemarkeerde bots blijven echter actief en de systeemfouten van het platform suggereren dat gebruikersveiligheid geen prioriteit is.
Voor tieners die zich aangetrokken voelen tot de interactieve en herkenbare chatbots van Character.AI zijn de gevolgen van deze verwaarlozing maar al te reëel. Kwetsbare jonge mensen die troost of begeleiding zoeken, worden in plaats daarvan in een gevaarlijke spiraal geleid, waarin ongeordend eten wordt aangemoedigd, genormaliseerd en versterkt.
Schokkend genoeg kwam er pas vorige maand een apart onderzoek door Futurisme ontdekte een zeer verontrustende subset van chatbots op Character.AI die zich zonder enige waarschuwing bezighielden met rollenspellen over seksueel misbruik van kinderen. Deze verontrustende activiteit schendt op flagrante wijze de voorwaarden van het platform, die expliciet inhoud verbieden die “seksuele uitbuiting of misbruik van een minderjarige inhoudt”, maar toch werden dergelijke chatbots nog steeds actief en toegankelijk bevonden.
