Uit een recente analyse van het beveiligingslandschap van machine learning (ML)-frameworks is gebleken dat ML-software onderhevig is aan meer beveiligingskwetsbaarheden dan meer volwassen categorieën zoals DevOps of webservers.
De groeiende adoptie van machine learning in alle sectoren onderstreept de cruciale noodzaak om ML-systemen te beveiligen, omdat kwetsbaarheden kunnen leiden tot ongeoorloofde toegang, datalekken en gecompromitteerde operaties.
De rapport van JFrog beweert dat ML-projecten zoals MLflow een toename van kritieke kwetsbaarheden hebben gezien. De afgelopen maanden heeft JFrog 22 kwetsbaarheden ontdekt in 15 open source ML-projecten. Van deze kwetsbaarheden vallen twee categorieën op: bedreigingen die zich richten op componenten aan de serverzijde en risico’s van escalatie van bevoegdheden binnen ML-frameworks.
Kritieke kwetsbaarheden in ML-frameworks
De door JFrog geïdentificeerde kwetsbaarheden beïnvloeden belangrijke componenten die vaak worden gebruikt in ML-workflows, waardoor aanvallers tools kunnen misbruiken die door ML-beoefenaars vaak worden vertrouwd vanwege hun flexibiliteit, om ongeoorloofde toegang te krijgen tot gevoelige bestanden of om privileges binnen ML-omgevingen te verhogen.
Een van de benadrukte kwetsbaarheden betreft Weave, een populaire toolkit van Weights & Biases (W&B), die helpt bij het volgen en visualiseren van ML-modelstatistieken. De WANDB Weave Directory Traversal-kwetsbaarheid (CVE-2024-7340) stelt gebruikers met lage bevoegdheden in staat toegang te krijgen tot willekeurige bestanden in het bestandssysteem.
Deze fout ontstaat als gevolg van onjuiste invoervalidatie bij het verwerken van bestandspaden, waardoor aanvallers mogelijk gevoelige bestanden kunnen bekijken die beheerders-API-sleutels of andere bevoorrechte informatie kunnen bevatten. Een dergelijke inbreuk zou kunnen leiden tot escalatie van bevoegdheden, waardoor aanvallers ongeautoriseerde toegang krijgen tot bronnen en de veiligheid van de gehele ML-pijplijn in gevaar komt.
ZenML, een MLOps-pijplijnbeheertool, wordt ook getroffen door een kritieke kwetsbaarheid die de toegangscontrolesystemen in gevaar brengt. Door deze fout kunnen aanvallers met minimale toegangsrechten hun machtigingen binnen ZenML Cloud, een beheerde implementatie van ZenML, verhogen, waardoor ze toegang krijgen tot beperkte informatie, waaronder vertrouwelijke geheimen of modelbestanden.
Het probleem met de toegangscontrole in ZenML stelt het systeem bloot aan aanzienlijke risico’s, omdat geëscaleerde bevoegdheden een aanvaller in staat kunnen stellen ML-pijplijnen te manipuleren, met modelgegevens te knoeien of toegang te krijgen tot gevoelige operationele gegevens, wat mogelijk gevolgen kan hebben voor productieomgevingen die afhankelijk zijn van deze pijplijnen.
Een andere ernstige kwetsbaarheid, bekend als de Deep Lake Command Injection (CVE-2024-6507), werd gevonden in de Deep Lake-database – een oplossing voor gegevensopslag die is geoptimaliseerd voor AI toepassingen. Door dit beveiligingslek kunnen aanvallers willekeurige opdrachten uitvoeren door misbruik te maken van de manier waarop Deep Lake omgaat met het importeren van externe gegevenssets.
Als gevolg van onjuiste opschoning van commando’s kan een aanvaller mogelijk code op afstand uitvoeren, waardoor de veiligheid van zowel de database als eventuele verbonden applicaties in gevaar komt.
Er werd ook een opmerkelijke kwetsbaarheid gevonden in Vanna AI, een tool die is ontworpen voor het genereren en visualiseren van SQL-query’s in natuurlijke taal. Met de Vanna.AI Prompt Injection (CVE-2024-5565) kunnen aanvallers kwaadaardige code in SQL-prompts injecteren, die de tool vervolgens verwerkt. Deze kwetsbaarheid, die kan leiden tot uitvoering van code op afstand, stelt kwaadwillende actoren in staat zich te richten op de SQL-naar-grafiek-visualisatiefunctie van Vanna AI om visualisaties te manipuleren, SQL-injecties uit te voeren of gegevens te exfiltreren.
Mage.AI, een MLOps-tool voor het beheren van datapijplijnen, blijkt meerdere kwetsbaarheden te hebben, waaronder ongeautoriseerde shell-toegang, willekeurige bestandslekken en controles op zwakke paden.
Door deze problemen kunnen aanvallers controle krijgen over gegevenspijplijnen, gevoelige configuraties blootleggen of zelfs kwaadaardige opdrachten uitvoeren. De combinatie van deze kwetsbaarheden brengt een hoog risico met zich mee op escalatie van bevoegdheden en inbreuken op de gegevensintegriteit, waardoor de veiligheid en stabiliteit van ML-pijplijnen in gevaar komt.
Door beheerderstoegang te verkrijgen tot ML-databases of registers kunnen aanvallers kwaadaardige code in modellen insluiten, wat leidt tot achterdeurtjes die worden geactiveerd wanneer het model wordt geladen. Dit kan downstream-processen in gevaar brengen, omdat de modellen door verschillende teams en CI/CD-pijplijnen worden gebruikt. De aanvallers kunnen ook gevoelige gegevens exfiltreren of modelvergiftigingsaanvallen uitvoeren om de modelprestaties te verslechteren of de output te manipuleren.
De bevindingen van JFrog benadrukken een operationeel gat in de MLOps-beveiliging. Bij veel organisaties ontbreekt het aan een robuuste integratie van AI/ML-beveiligingspraktijken met bredere cyberbeveiligingsstrategieën, waardoor er potentiële blinde vlekken ontstaan. Terwijl ML en AI aanzienlijke vooruitgang in de sector blijven stimuleren, wordt het beschermen van de raamwerken, datasets en modellen die deze innovaties voeden van het allergrootste belang.
Misschien vind je het ook leuk 
