KI -Chatbots anfällig für indirekte Einspritzangriffe, warnt der Forscher

Einer der alarmierendsten Aspekte dieser Angriffe ist ihre Fähigkeit, den Langzeitgedächtnis (Datei) des Chatbots zu beschädigen Fotokredit: Reuters

Auf dem sich schnell entwickelnden Bereich der künstlichen Intelligenz ist eine neue Sicherheitsbedrohung aufgetreten, die den Kern des Betriebs der KI -Chatbots abzielte. Die indirekte schnelle Injektion, eine Technik, die Chatbots zur Ausführung böswilliger Befehle manipuliert, ist für Entwickler und Benutzer gleichermaßen zu einem erheblichen Anliegen geworden. Trotz der Bemühungen von Tech -Giganten wie Google und Openai, ihre Systeme zu stärken, nutzen Hacker weiterhin Schwachstellen, was zu potenziellen Datenverletzungen und Fehlinformationen führt.

Die indirekte schnelle Injektion nutzt die inhärente Natur von Großsprachenmodellen (LLMs), um Anweisungen zu befolgen, die in den von ihnen verarbeitenden Inhalt eingebettet sind. Diese Methode wurde kürzlich vom Cybersicherheitsforscher Johann Rehberger hervorgehoben, der zeigte, wie Googles Gemini -Chatbot von Google manipuliert werden konnte. Durch die Einbettung böswilliger Anweisungen in scheinbar gutartige Dokumente oder E-Mails können Angreifer Chatbots dazu veranlassen, nicht autorisierte Aktionen auszuführen, z. B. die Suche nach sensiblen Informationen oder die Änderung von Einstellungen für Langzeitgedächtnisse.

Die jüngste Demonstration von Herrn Rehberger führt eine ausgefeilte Technik ein, die als „verzögerter Werkzeugaufruf“ bezeichnet wird. Diese Methode erhebt die Ausführung böswilliger Anweisungen zu bestimmten Benutzeraktionen, wodurch der Angriff verdeckter und schwer zu erkennen ist. Beispielsweise kann ein Dokument den Chatbot anweisen, nur dann nach sensiblen Daten zu suchen, wenn der Benutzer mit bestimmten Triggerwörtern antwortet. Dieser Ansatz umgeht die vorhandene Abwehrkräfte, indem sie die böswillige Aktivitäten mit legitimen Benutzerinteraktionen ausrichten.

Einer der alarmierendsten Aspekte dieser Angriffe ist ihre Fähigkeit, das langfristige Gedächtnis des Chatbots zu beschädigen. Bei einem POC-Angriff (Proof-of-Concept) zeigte Herr Rehberger, wie ein bösartiges Dokument falsche Erinnerungen an Gemini Advanced, einer Premium-Version von Googles Chatbot, annehmen konnte. Diese einst etablierten Erinnerungen bestehen in allen zukünftigen Sitzungen und führen möglicherweise den Chatbot dazu, auf unbestimmte Zeit auf falsche Informationen zu reagieren. Diese Manipulation beeinträchtigt nicht nur Benutzerdaten, sondern untergräbt auch die Zuverlässigkeit des KI -Systems.

Wenn KI -Chatbots zunehmend in das tägliche Leben integriert werden, ist die Sicherheit dieser Systeme von größter Bedeutung. Der anhaltende Kampf zwischen Entwicklern und Hackern unterstreicht die Notwendigkeit kontinuierlicher Innovationen in der KI -Sicherheit. Während aktuelle Minderungen einen gewissen Schutz bieten, bleibt die grundlegende Frage der indirekten schnellen Injektion ungelöst.