Character.AI heeft nieuwe veiligheidsfuncties en beleid geïntroduceerd voor het bouwen van en communiceren met de door AI aangedreven virtuele persoonlijkheden die het host. De nieuwe maatregelen zijn bedoeld om het platform veiliger te maken voor alle gebruikers, maar vooral voor jongeren. De update biedt meer controle over hoe minderjarigen omgaan met de AI chatbotmeer inhoudsmoderatie en betere detectie van de AI die onderwerpen als zelfbeschadiging bespreekt.
Hoewel niet geciteerd in de blogpost over de update, linkte Character AI naar de aankondiging in een bericht op X waarin hij zijn medeleven betuigde aan de familie van een 14-jarige die maandenlang interactie had gehad met een van Character.AI's chatbots voordat hij zelfmoord pleegde. . Zijn familie heeft nu een rechtszaak aangespannen tegen Character.AI wegens onrechtmatige dood, daarbij verwijzend naar een gebrek aan waarborgen voor de AI-chatbots als bijdrage aan zijn zelfmoord.
We zijn diepbedroefd door het tragische verlies van een van onze gebruikers en willen ons diepste medeleven betuigen aan de familie. Als bedrijf nemen we de veiligheid van onze gebruikers zeer serieus en we blijven nieuwe veiligheidsfuncties toevoegen waarover u hier kunt lezen:…23 oktober 2024
AI-chat vangrails
In de post van Character AI werden verschillende nieuwe veiligheidsfuncties voor het platform uiteengezet. Als het model bijvoorbeeld trefwoorden detecteert die verband houden met zelfmoord of zelfbeschadiging, wordt er een pop-up weergegeven waarin de gebruiker wordt verwezen naar de National Suicide Prevention Lifeline en gerelateerde bronnen. De AI zal ook beter zijn in het opmerken en verwijderen van ongepaste inhoud in een gesprek, met een bijzondere gevoeligheid voor wanneer gebruikers jonger zijn dan 18 jaar.
Vermoedelijk zouden minderjarigen al beperkte inhoud in gesprekken hebben, maar Character.AI heeft die gevoeligheid mogelijk nog verder verhoogd. In gevallen waarin dat misschien niet genoeg is, zijn hele chatbots verwijderd.
„We voeren proactieve detectie en moderatie uit van door gebruikers gemaakte karakters, inclusief het gebruik van industriestandaard en aangepaste blokkeerlijsten die regelmatig worden bijgewerkt. We verwijderen proactief, en in reactie op gebruikersrapporten, karakters die onze Servicevoorwaarden schenden“, legt Character.AI uit. in zijn post. „Gebruikers zullen misschien opmerken dat we onlangs een groep karakters hebben verwijderd die als inbreukmakend zijn gemarkeerd, en deze zullen in de toekomst worden toegevoegd aan onze aangepaste blokkeerlijsten.“
Andere nieuwe functies gaan meer over het helpen van grondgebruikers. U ziet dus een melding wanneer u een uur op het platform heeft doorgebracht met de vraag of u door wilt gaan, zodat u de tijd niet uit het oog verliest. Je zult ook prominentere disclaimers zien die benadrukken dat de AI geen echte persoon is. Dergelijke disclaimers staan al in de gesprekken, maar Character.AI wil het onmogelijk maken deze te negeren.
Deze veiligheidsvoorzieningen zijn de keerzijde van hoe Character.AI ervoor heeft gezorgd dat de interactie met chatbots meer lijkt op praten met een echt persoon, inclusief stemmen en de tweerichtingsgesprekken die beschikbaar zijn met de Karakteroproepen functie. Toch wil het bedrijf er waarschijnlijk voor zorgen dat zijn diensten zo veilig mogelijk zijn, en zijn stappen kunnen informatie geven over hoe anderen in de ruimte hun eigen AI-chatbotkarakters vormgeven.
