Muah.AI is een website waar mensen AI-vriendinnen kunnen maken: chatbots die via tekst of stem praten en op verzoek afbeeldingen van zichzelf sturen. Bijna 2 miljoen gebruikers hebben zich geregistreerd voor de dienst, die de technologie omschrijft als ‘ongecensureerd’. En afgaande op de gegevens die zogenaamd van de site zijn gehaald, gebruiken mensen mogelijk de tools ervan in hun pogingen om materiaal voor seksueel misbruik van kinderen, oftewel CSAM, te maken.
Vorige week, Joseph Cox, op 404 Mediawas de eerst verslag doen van de gegevenssetnadat een anonieme hacker het onder zijn aandacht had gebracht. Wat Cox ontdekte was uiterst verontrustend: hij bekeek een prompt waarin sprake was van orgieën waarbij ‘pasgeboren baby’s’ en ‘jonge kinderen’ betrokken waren. Dit geeft aan dat een gebruiker Muah.AI had gevraagd om op dergelijke scenario's te reageren, hoewel onduidelijk is of het programma dat deed. Grote AI-platforms, waaronder ChatGPT, maken gebruik van filters en andere moderatietools die bedoeld zijn om het genereren van inhoud als reactie op dergelijke aanwijzingen te blokkeren, maar minder prominente diensten hebben doorgaans minder scrupules.
Mensen hebben AI-software gebruikt om seksueel uitbuitende beelden van echte individuen te genereren. Eerder dit jaar waren er pornografische deepfakes van Taylor Swift verspreid op X En Facebook. En voorstanders van kinderveiligheid hebben dat ook gedaan gewaarschuwd herhaaldelijk dat generatieve AI nu op grote schaal wordt gebruikt om seksueel misbruikende beelden van echte kinderen te creëren, een probleem dat op scholen in het hele land aan de oppervlakte is gekomen.
De Muah.AI-hack is een van de duidelijkste – en meest publieke – illustraties van het bredere probleem tot nu toe: voor misschien wel de eerste keer wordt de omvang van het probleem in zeer duidelijke termen gedemonstreerd.
Ik sprak met Troy Hunt, een bekende beveiligingsadviseur en de maker van de site voor het volgen van datalekken HaveIBeenPwned.comnadat hij een thread had gezien die hij op X had gepost over de hack. Hunt had de Muah.AI-gegevens ook ontvangen van een anonieme bron: bij het bekijken ervan vond hij veel voorbeelden van gebruikers die het programma aanspoorden om materiaal over seksueel misbruik van kinderen te gebruiken. Toen hij naar de gegevens zocht 13 jaar oudontving hij ruim 30.000 resultatenS“veel naast aanwijzingen die seksuele handelingen beschrijven.” Toen hij het probeerde prepuberaalHij kreeg 26.000 resultaatS. Hij schat dat er binnen de dataset tienduizenden, zo niet honderdduizenden, aanwijzingen zijn om CSAM te creëren.
Hunt was verrast toen hij ontdekte dat sommige Muah.AI-gebruikers niet eens probeerden hun identiteit te verbergen. In één geval koppelde hij een e-mailadres van de inbreuk aan een LinkedIn-profiel van een C-suite executive bij een ‘heel normaal’ bedrijf. „Ik heb naar zijn e-mailadres gekeken en het is letterlijk zijn voornaam en achternaam op gmail.com“, vertelde Hunt me. 'Er zijn veel gevallen waarin mensen proberen hun identiteit te verdoezelen, en als je aan de juiste touwtjes kunt trekken, kom je erachter wie ze zijn. Maar deze man heeft het gewoon niet eens geprobeerd.” Hunt zei dat CSAM traditioneel wordt geassocieerd met de randhoeken van het internet. “Het feit dat dit op een reguliere website staat, heeft mij waarschijnlijk nog meer verrast.”
Afgelopen vrijdag nam ik contact op met Muah.AI om te vragen naar de hack. Een persoon die de Discord-server van het bedrijf beheert en de naam Harvard Han draagt, bevestigde mij dat de website was gehackt door een hacker. Ik vroeg hem naar de schatting van Hunt dat er misschien wel honderdduizenden prompts om CSAM te maken in de dataset voorkomen. “Dat is onmogelijk,” vertelde hij mij. “Hoe is dat mogelijk? Denk er eens over na. We hebben 2 miljoen gebruikers. Het is onmogelijk dat 5 procent verdomde pedofielen is.” (Het is echter mogelijk dat een relatief klein aantal gebruikers verantwoordelijk is voor een groot aantal aanwijzingen.)
Toen ik hem vroeg of de gegevens die Hunt heeft echt zijn, zei hij aanvankelijk: “Misschien is het mogelijk. Ik ontken niet.” Maar later in hetzelfde gesprek zei hij dat hij het niet zeker wist. Han zei dat hij op reis was geweest, maar dat zijn team ernaar zou kijken.
Het personeel van de site is klein, benadrukt Han keer op keer, en heeft beperkte middelen om in de gaten te houden wat gebruikers doen. Er werken minder dan vijf mensen, vertelde hij me. Maar het lijkt erop dat de site een bescheiden gebruikersbestand heeft opgebouwd: uit gegevens die ik heb gekregen van Compareweb, een bedrijf dat verkeer analyseert, blijkt dat Muah.AI het afgelopen jaar gemiddeld 1,2 miljoen bezoeken per maand heeft gehad.
Han vertelde me dat zijn team vorig jaar een filtersysteem had ingevoerd dat automatisch accounts blokkeerde met behulp van bepaalde woorden, zoals tieners En kinderen– in hun aanwijzingen. Maar, zo vertelde hij me, gebruikers klaagden dat ze onterecht werden verbannen. Daarna heeft de site het filter aangepast om te voorkomen dat accounts automatisch worden geblokkeerd, maar om nog steeds te voorkomen dat afbeeldingen worden gegenereerd op basis van die trefwoorden, zei hij.
Tegelijkertijd vertelde Han me echter dat zijn team niet controleert of zijn bedrijf afbeeldingen van seksueel kindermisbruik genereert voor zijn gebruikers. Hij gaat ervan uit dat veel van de verzoeken om dit te doen ‘waarschijnlijk worden afgewezen, geweigerd, afgewezen’, zei hij. Maar Han erkende dat slimme gebruikers waarschijnlijk manieren zouden kunnen vinden om de filters te omzeilen.
Hij bood ook een soort rechtvaardiging aan waarom gebruikers in de eerste plaats zouden kunnen proberen afbeeldingen van kinderen te genereren: sommige Muah.AI-gebruikers die rouwen om de dood van familieleden komen naar de dienst om AI-versies van hun verloren dierbaren te maken. Toen ik erop wees dat Hunt, de cyberbeveiligingsadviseur, de zin had gezien 13 jaar oud gebruikt naast seksueel expliciete handelingen, antwoordde Han: “Het probleem is dat we niet over de middelen beschikken om naar elke prompt te kijken.” (Na het artikel van Cox over Muah.AI zei het bedrijf in een bericht op Discord dat het van plan is te experimenteren met nieuwe geautomatiseerde methoden om mensen te verbieden.)
Kortom, zelfs de mensen die Muah.AI runnen, weten niet wat hun dienst doet. Op een gegeven moment suggereerde Han dat Hunt misschien meer wist dan hij over de inhoud van de dataset. Dat sites als deze kunnen opereren zonder rekening te houden met de schade die ze kunnen veroorzaken, roept de grotere vraag op of ze überhaupt zouden moeten bestaan, terwijl er zoveel potentieel is voor misbruik.
Ondertussen nam Han een bekend argument over censuur in het onlinetijdperk en trok het tot het logische uiterste. 'Ik ben een Amerikaan', vertelde hij me. “Ik geloof in de vrijheid van meningsuiting. Ik geloof dat Amerika anders is. En wij zijn van mening dat AI niet getraind mag worden met censuur.” Hij vervolgde: ‘In Amerika kunnen we een wapen kopen. En dit wapen kan worden gebruikt om het leven, uw gezin en de mensen van wie u houdt te beschermen, of het kan worden gebruikt voor massale schietpartijen.’
De federale wet verbiedt computergegenereerde afbeeldingen van kinderpornografie als op deze afbeeldingen echte kinderen voorkomen. In 2002 oordeelde het Hooggerechtshof dat een totaal verbod op computergegenereerde kinderpornografie in strijd was met het Eerste Amendement. Hoe de bestaande wetgeving precies van toepassing zal zijn op generatieve AI is een onderwerp van onderzoek handelingive debat. Toen ik Han vroeg naar federale wetten met betrekking tot CSAM, zei Han dat Muah.AI alleen de AI-verwerking levert, en vergeleek hij zijn service met Google. Hij herhaalde ook dat het woordfilter van zijn bedrijf sommige afbeeldingen zou kunnen blokkeren, hoewel hij daar niet zeker van is.
Wat er ook met Muah.AI gebeurt, deze problemen zullen zeker blijven bestaan. Hunt vertelde me dat hij vóór de inbreuk nog nooit van het bedrijf had gehoord. “En ik weet zeker dat er nog tientallen en tientallen meer zijn.” Bij Muah.AI werd de inhoud toevallig binnenstebuiten gekeerd door een datahack. Het tijdperk van goedkoop, door AI gegenereerd kindermisbruik is aangebroken. Wat ooit verborgen was in de donkerste hoeken van het internet lijkt nu vrij gemakkelijk toegankelijk – en, net zo zorgelijk, heel moeilijk uit te roeien.
