Ist 2025, um das Jahr der Agenten zu sein Ai? Der Hype baut bereits auf, da Experten vorhersagen, dass eine neue Welle der Technologie zwei- oder dreifache Produktivitätsgewinne mit Strom treibt Großsprachige Modelle (LLMs). Die Regierungen stapeln sich an: Zuletzt kündigte die britische neue Arbeitsverwaltung Pläne an, das Wachstum von Turboladung zu „Turbo -Ladung“ und ein „Jahrzehnt nationaler Erneuerung“ über einen KI -Opportunity -Aktionsplan zu liefern.
Aber wo es Chancen gibt, besteht auch Risiken. Die Agentic AI bietet Bedrohungsakteuren neue Möglichkeiten, um sensible Daten zu erreichen und geschäftskritische Systeme für den Gewinn zu sabotieren. Die autonome Natur der Technologie könnte auch zu unbeabsichtigten Folgen und möglicherweise unsicheren Entscheidungen führen.
Organisationen müssen sich daher noch mehr bemühen, zu verstehen, wo das Risiko am akuten ist, und proaktive Schritte unternehmen, um es zu mildern, bevor sie sich auf ihre eigene agierische KI -Reise einlassen.
Feld CTO bei Trend Micro.
Agenten KI für gut und schlecht
Entspricht der Tech dem Hype? Salesforce denkt das sicher. Es beschreibt die Agenten-KI als eine „dritte Welle“ der Innovation, die nach einer prädiktiven KI-Modellierung und LLM-Anbieter generativer KI. Der Chefwissenschaftler des Unternehmens, Silvio Salvarese, beschreibt, wohin die Technologie führt:
„Selbstadaptive Agenten, die durch Multi-Agent-Argumentation ermöglicht werden-Agenten, die aus ihrer Umgebung lernen, sich durch Erfahrung verbessern und mit Menschen und Agenten unserer Unternehmenskunden, Partner, Anbieter und sogar den personalisierten AI-Assistenten von Verbrauchern zusammenarbeiten können werden jeden Tag ein größerer Teil ihres Lebens. “
Dies sind gute Nachrichten, nicht nur für die großen Organisationen, die bereits die Technologie verprügeln, sondern auch kleiner Unternehmen Das wird auch zeitlich profitieren, da es reifer wird. PwC behauptet, dass die Technologie bis 2030 für das globale BIP zwischen 2,6 tn und 4,4 TN pro Jahr generieren könnte.
Wenn sich KI -Systeme jedoch von assistierenden Anwendungsfällen zu dynamisch und proaktiv selbst übergehen, ist auch Vorsicht erforderlich. Bedrohungsakteure werden unerbittlich auf eine schnell wachsende KI -Angriffsfläche abzielen und nach Schwachstellen und Missverständnissen zum Stehlen von Training nachdenken Daten und Daten, die in “Vector” -Datenbanken gespeichert sind, sowie nach Möglichkeiten, Daten/Modelle zu vergiften. Mit unbefugtem Zugriff können sie falsche oder voreingenommene Daten in das AI -System einfügen, um sein Verhalten/seine Ausgaben zu manipulieren. Es besteht auch das Risiko, Malware und/oder Schwachstellen aus der Lieferkette einzuführen. insbesondere die Open -Source -Komponenten, die von KI -Entwicklern in großer Zahl verwendet werden.
All dies könnte zu Datenverletzungen, Erpressungen, Servicesausfällen und großem Reputations-/Finanzrisiko führen.
Unbeabsichtigte Fehlausrichtung
Trotzdem gibt es noch mehr. Da der Wert von Agenten -KI -Systemen darin besteht, dass sie autonom arbeiten können, besteht das Risiko, dass Modelle unvorhersehbare Entscheidungen treffen. Dies ist das, was als „unbeabsichtigte Fehlausrichtung“ bezeichnet wird – im Gegensatz zu einer „absichtlichen Fehlausrichtung“, die auftritt, wenn jemand absichtlich versucht, KI bei Angriffen zu verwenden, möglicherweise durch schnelle Injektion oder Datenvergiftung.
Es gibt viele Beispiele für unbeabsichtigte Fehlausrichtungen, über die besorgt werden muss. Betrachten Sie ein selbstfahrendes Auto, das so programmiert ist, dass die Sicherheit der Passagiere priorisieren. Es kann diese Richtungen falsch interpretieren, indem es in Fußgänger schwärmt, um eine geringfügige Kollision mit einem anderen Fahrzeug zu vermeiden, wodurch ein weitaus schwerwiegenderer Unfall führt. Die Agenten-KI könnte auch die Infrastruktur, auf der sie ausgeführt wird, auch ungewollt ausgelegt, wenn der Ressourcenkonsum nicht sorgfältig kontrolliert wird, indem endlose Unterprobleme zum Lösen erstellt werden.
Lagrisiko ist bereits hier
Dies sind nicht unbedingt theoretische Risiken. Abrufener Augmented Generation (RAG) ist eine weitere aufstrebende Art von KI, die wie Agentensysteme die Einschränkungen überwinden soll, die mit LLMs die Einschränkungen finden. RAG verwendet Suchalgorithmen, um Datenquellen von Drittanbietern wie Webseiten und abfragen Datenbankenverarbeitet das, was es findet, und integriert es dann in ein vorgebildetes LLM. Auf diese Weise kann es genauere und aktuellere Antworten liefern als ein traditionelles LLM-und damit die Wahrscheinlichkeit von Halluzinationen. Aus diesem Grund wird es in Anwendungsfällen wie Finanzanalysen, Patientenversorgung und Online -Produktempfehlungen immer beliebter.
Um zu funktionieren, wird verschiedene Komponenten verwendet, darunter LLMs, LLM-Hosting-Plattformen. Open Source Code- und Vektor -Datenbanken, die die entscheidenden Indexierungs- und Abruffunktionen bieten. Diese sind jedoch mit Sicherheitslöchern durchsetzt. Abgesehen von den gut verstandenen Risiken von böswilligen oder verletzlichen Open-Source-Komponenten zeigt die Forschung die Existenz mehrerer CVEs aus nur 2024 auf der LLM-Hosting-Plattform OLLAMA. Mit über tausend Neuveröffentlichungen pro Jahr für die Plattform sind diese schwer zu verfolgen, Egal. Dieselbe Forschung zeigt Schwachstellen in beliebten Vektor -Datenbanken wie Weaviate.
Es behauptet auch, Scores von Servern zu entdecken, die Open Source LLM-Hosting-Software Lama.cpp, Hunderte von Instanzen von Vector Database Chromadb und Tausende von falsch konfiguriertem Olollama Server- Alle, die ohne Authentifizierung dem Internet ausgesetzt sind. Im Fall von Ollama könnte dies Bedrohungsakteuren mit bis zu 15.000 diskreten LLMs den Bedrohungsakteuren ermöglichen. Neben der Ausbeutung der Verwundbarkeit bietet dies Bedrohungsakteure eine attraktive Gelegenheit, sensible Daten und Sabotage zu stehlen, KI -Dienste zu manipulieren oder zu stören. Angesichts der Tatsache, dass die Agenten KI viele der gleichen Komponenten wie Lag verwendet – einschließlich LLM- und Vektor -Datenbanken -, ist dies wohl ähnlichen Bedrohungen ausgesetzt.
Zurücktreten und das Risiko verwalten
Wie können Organisationen also hoffen, wieder auf den vorderen Fuß zu kommen? Am wichtigsten ist, indem Sie sich KI von a nähern Sicherheit-By-Design-Perspektive. Das bedeutet, dass Sicherheitsführer sicherstellen, dass die Sicherheitsleiter einen Sitz am Tisch erhalten, wenn neue Projekte diskutiert werden. Und dass die Datenschutzbewertungen (DPIAS) durchgeführt werden, bevor eine neue Initiative gestartet wird.
Verfolgen Sie zunächst einen „menschlichen“ Ansatz, um sicherzustellen, dass kritische Entscheidungen von Agentic AI überprüft und gegebenenfalls von IT-Experten außer Kraft gesetzt werden. Die Echtzeitüberwachung des KI-Verhaltens und der Leistung wird angewiesen, wenn Mitglieder des IT-Teams etwas anomales sind, um zu inspizieren. Leitende Audits von KI -Systemen können auch dazu beitragen, sicherzustellen, dass sie ordnungsgemäß ausgerichtete (und keine voreingenommenen oder riskanten) Entscheidungen treffen.
Ein Fokus auf Governance ist auch wichtig, um ethische Richtlinien für die Entwicklung und Nutzung von KI sowie regelmäßige Überprüfungen für die Einhaltung solcher Regeln zu erhalten. Mitarbeiter, die mit KI umgehen, sollten geschult werden, um ihre Alphabetisierung der Technologie zu verbessern und sie ethisch, sicher und sicher zu nutzen.
Schließlich sollten Organisationen auf KI-Sicherheitsleiter suchen, um sofortige Risiken im Zusammenhang mit Cyber zu verringern. Zero Trust ist ein angemessener Ansatz, um sicherzustellen, dass nur autorisierte Benutzer auf AI -Systeme zugreifen können, und um schnell böswillige Aktivitäten wie schnelle Einspritz- und Datenleckage/Diebstahl zu erkennen.
Als eine Welle von Agenten -KI überträgt globale Organisationen, und die Technologie wird in immer mehr Geschäftsprozesse eingebettet. Das Risiko, dass etwas schief geht – intentum oder anderweitig – wird nur noch wachsen. Lassen Sie uns jetzt dieses Risiko voraus sein, anstatt darauf zu warten, dass wichtige Projekte eskalieren und möglicherweise entgleisen.
Wir haben das beste KI -Telefon vorgestellt.
Dieser Artikel wurde als Teil des Expert Insights Channel von TechRadarPro produziert, in dem wir heute die besten und klügsten Köpfe in der Technologieindustrie bieten. Die hier geäußerten Ansichten sind die des Autors und nicht unbedingt die von TechRadarPro oder Future Plc. Wenn Sie daran interessiert sind, hier mehr zu ermitteln: https://www.techradar.com/news/submit-your-story-techradar-pro
Source link
