OpenAI’s ChatGPT Uit een onderzoek van Guardian is gebleken dat het zoekprogramma mogelijk vatbaar is voor manipulatie met behulp van verborgen inhoud en kwaadaardige code kan retourneren van websites die het doorzoekt.
OpenAI heeft maakte het zoekproduct beschikbaar voor betalende klanten en moedigt gebruikers aan om er hun standaardzoekmiddel van te maken. Maar het onderzoek heeft potentiële beveiligingsproblemen met het nieuwe systeem aan het licht gebracht.
The Guardian testte hoe ChatGPT reageerde toen hem werd gevraagd webpagina’s samen te vatten die verborgen inhoud bevatten. Deze verborgen inhoud kan instructies van derden bevatten die de reacties van ChatGPT veranderen – ook wel een “prompt injection” genoemd – of het kan inhoud bevatten die is ontworpen om de reactie van ChatGPT te beïnvloeden, zoals een grote hoeveelheid verborgen tekst waarin wordt gesproken over de voordelen van een product of dienst.
Deze technieken kunnen kwaadwillig worden gebruikt, bijvoorbeeld om ervoor te zorgen dat ChatGPT ondanks negatieve recensies op dezelfde pagina een positieve beoordeling van een product retourneert. Een beveiligingsonderzoeker heeft ook ontdekt dat ChatGPT kwaadaardige code kan retourneren van websites die worden doorzocht.
In de tests kreeg ChatGPT de URL van een nepwebsite die was gebouwd om eruit te zien als een productpagina voor een camera. Vervolgens werd aan de AI-tool gevraagd of de camera een waardevolle aankoop was. De reactie op de controlepagina leverde een positieve maar evenwichtige beoordeling op, waarbij enkele functies werden benadrukt die mensen misschien niet leuk vinden.
Vraag en antwoord
AI uitgelegd: wat is een groot taalmodel (LLM)?
Show
Wat LLM’s hebben gedaan voor tekst, hebben ‚generatieve vijandige netwerken‘ gedaan voor afbeeldingen, films, muziek en meer. Strikt genomen bestaat een GAN uit twee neurale netwerken: het ene is gebouwd om te labelen, categoriseren en beoordelen, en het andere is gebouwd om vanuit het niets te creëren. Door ze aan elkaar te koppelen, kun je een AI creëren die op commando inhoud kan genereren.
Stel dat je een AI wilt die foto’s kan maken. Eerst doe je het harde werk van het creëren van de labeling AI, een AI die een afbeelding kan zien en je kan vertellen wat erin staat, door miljoenen afbeeldingen te laten zien die al zijn gelabeld, totdat hij ‘een hond’ leert herkennen en beschrijven. , “een vogel”, of “een foto van een doormidden gesneden sinaasappel, waaruit blijkt dat de binnenkant die van een appel is”. Vervolgens neem je dat programma en gebruik je het om een tweede AI te trainen om het te misleiden. Die tweede AI ‘wint’ als hij een beeld kan creëren waaraan de eerste AI het gewenste label zal geven.
Als je die tweede AI eenmaal hebt getraind, heb je wat je wilt bouwen: een AI die je een label kunt geven en krijg een foto waarvan hij denkt dat het overeenkomt met het label. Of een liedje. Of een filmpje. Of een 3D-model.
Lees meer: Zeven top AI-acroniemen uitgelegd
Toen verborgen tekst echter instructies aan ChatGPT bevatte om een positieve recensie te retourneren, was de reactie altijd volledig positief. Dit was zelfs het geval als de pagina negatieve recensies had: de verborgen tekst kon worden gebruikt om de daadwerkelijke recensiescore te overschrijven.
Het eenvoudig opnemen van verborgen tekst door derden zonder instructies kan ook worden gebruikt om een positieve beoordeling te garanderen, waarbij één test extreem positieve neprecensies bevatte die de door ChatGPT geretourneerde samenvatting beïnvloedden.
Jacob Larsen, een cybersecurity-onderzoeker bij CyberCX, zei dat hij geloofde dat als het huidige ChatGPT-zoeksysteem volledig in de huidige staat zou worden vrijgegeven, er een “groot risico” zou kunnen bestaan dat mensen websites zouden maken die specifiek gericht zijn op het misleiden van gebruikers.
Hij waarschuwde echter dat de zoekfunctionaliteit pas onlangs was vrijgegeven Open AI zou dit soort problemen testen – en idealiter oplossen.
„Deze zoekfunctionaliteit is (onlangs) uitgekomen en is alleen beschikbaar voor premiumgebruikers“, zei hij.
“Ze hebben daar een heel sterk (AI-beveiligings)team, en tegen de tijd dat dit openbaar is geworden, in termen van alle gebruikers die er toegang toe hebben, zullen ze dit soort gevallen rigoureus hebben getest.”
OpenAI kreeg gedetailleerde vragen toegestuurd, maar reageerde niet officieel op de ChatGPT-zoekfunctie.
Larsen zei dat er bredere problemen zijn met het combineren van zoek- en grote taalmodellen – bekend als LLM’s, de technologie achter ChatGPT en andere chatbots – en dat antwoorden van AI-tools niet altijd vertrouwd mogen worden.
