Een kunstmatige-intelligentietool gehost door Amazon en ontworpen om de rekrutering van het Britse ministerie van Defensie te stimuleren, zorgt ervoor dat defensiepersoneel het risico loopt publiekelijk te worden geïdentificeerd, aldus een overheidsbeoordeling.
Gegevens die in het geautomatiseerde Textio-systeem worden gebruikt om het opstellen van defensie-vacatures te verbeteren en meer diverse kandidaten aan te trekken door de inclusiviteitstaal te verbeteren, omvatten namen, rollen en e-mailadressen van militair personeel en worden opgeslagen met behulp van Amazone Webservices (AWS) in de VS. Dit betekent dat “een datalek gevolgen kan hebben, dat wil zeggen de identificatie van defensiepersoneel”, aldus documenten over de AI-systemen van de overheid die vandaag voor het eerst zijn gepubliceerd.
Het risico wordt als “laag” beoordeeld en het Ministerie van Defensie zei dat er “robuuste veiligheidsmaatregelen” zijn getroffen door de leveranciers, die op de website van het Ministerie van Defensie staan vermeld als Textio, AWS en Amazon GuardDuty, een dienst voor het detecteren van bedreigingen. (Amazon zegt dat GuardDuty geen leverancier is, maar eerder een product van AWS.)
Maar het is een van de vele risico’s die de regering erkent over het gebruik van AI-instrumenten in de publieke sector tranche van documenten vrijgegeven om de transparantie over het gebruik van algoritmen door de centrale overheid te verbeteren.
Officiële verklaringen over de manier waarop de algoritmen werken benadrukken dat er mitigaties en waarborgen zijn getroffen om de risico’s aan te pakken, nu de ministers aandringen op het gebruik van AI om de Britse economische productiviteit te vergroten en, in de woorden van technologiesecretaris Peter Kyle dinsdag, “openbare diensten te brengen terug van de rand”.
Deze week werd gemeld dat Chris Wormald, de nieuwe kabinetssecretaris, heeft het aan ambtenaren verteld de premier wil “een herbedrading van de manier waarop de overheid werkt”, waarbij ambtenaren worden verplicht “te profiteren van de grote kansen die de technologie biedt”.
Google en Meta hebben rechtstreeks met de Britse overheid samengewerkt aan pilots om AI in openbare diensten te gebruiken. Microsoft levert zijn AI-aangedreven Copilot-systeem aan ambtenaren, en eerder deze maand zei minister Pat McFadden van het Cabinet Office dat hij wilde dat de overheid “meer als een startup zou denken”.
Andere risico’s en voordelen die in de huidige AI’s van de centrale overheid worden geïdentificeerd, zijn onder meer:
-
De mogelijkheid dat ongepast lesmateriaal wordt gegenereerd door a Door AI aangedreven hulpmiddel voor lesplanning gebruikt door docenten op basis van het krachtige grote taalmodel van Open AI, GPT-4o. De AI bespaart docenten tijd en kan lesplannen snel personaliseren op een manier die anders misschien niet mogelijk zou zijn.
-
“Hallucinaties” door a chatbot ingezet om vragen over het welzijn van kinderen te beantwoorden in de familierechtbanken. Het biedt echter ook 24 uur per dag informatie en vermindert de wachtrijen voor mensen die met een menselijke agent moeten spreken.
-
“Foutieve werking van de code” en “onjuiste invoergegevens” in het nieuwe van HM Treasury Beleidsengine dat machine learning gebruikt om belasting- en uitkeringsveranderingen te modelleren “met grotere nauwkeurigheid dan bestaande benaderingen”.
-
“Een verslechtering van het menselijk redeneren” als gebruikers van een AI die prioriteit geven aan de risico’s van voedselhygiëne-inspecties te afhankelijk worden van het systeem. Het kan er ook toe leiden dat “inrichtingen van een bepaald type consequent veel lager worden beoordeeld”, maar het zou ook snellere inspecties moeten betekenen op plaatsen waar de kans groter is dat de hygiëneregels worden overtreden.
De onthullingen komen in een nieuw uitgebreid algoritmisch transparantieregister dat gedetailleerde informatie registreert over 23 algoritmen van de centrale overheid. Sommige algoritmen, zoals die welke in het socialezekerheidsstelsel worden gebruikt door het ministerie van Werk en Pensioenen, hebben dat wel gedaan vertoonde tekenen van vooringenomenheidzijn nog steeds niet opgenomen.
“Technologie heeft een enorm potentieel om openbare diensten ten goede te transformeren”, zegt Kyle. “We zullen het gebruiken om achterstanden weg te werken, geld te besparen en de resultaten voor burgers in het hele land te verbeteren. Transparantie over hoe en waarom de publieke sector algoritmische tools gebruikt, is cruciaal om ervoor te zorgen dat ze betrouwbaar en effectief zijn.”
Centrale overheidsorganisaties zullen verplicht worden een record te publiceren voor elk algoritmisch instrument dat rechtstreeks met burgers communiceert of beslissingen over mensen aanzienlijk beïnvloedt, tenzij er een beperkte reeks uitzonderingen van toepassing is, zoals de nationale veiligheid. Records voor tools worden gepubliceerd zodra ze publiekelijk worden getest of live zijn.
Andere AI’s die in het uitgebreide register zijn opgenomen, zijn onder meer een AI-chatbot die vragen van klanten aan Network Rail afhandelt, getraind op historische gevallen uit het klantrelatiesysteem van de spoorwegmaatschappij.
Het ministerie van Onderwijs exploiteert een lesassistent AI voor leraren, Aila, die gebruik maakt van het GPT-4o-model van Open AI. Het is gemaakt in Whitehall, in plaats van gebruik te maken van een aannemer, en stelt leraren in staat lesplannen te genereren. De tool is bewust ontworpen om niet met één druk op de knop lessen te genereren. Maar de risico’s die worden geïdentificeerd en die worden beperkt, zijn onder meer geproduceerd schadelijk of ongepast lesmateriaal, vooringenomenheid of verkeerde informatie en “snelle injectie” – een manier waarop kwaadwillende actoren de AI misleiden om hun bedoelingen uit te voeren.
De Children and Family Court Advisory and Support Service, die de familierechtbanken adviseert over het welzijn van kinderen, gebruikt een natuurlijke taalverwerkingsbot om een websitechatdienst aan te drijven die ongeveer 2.500 vragen per maand afhandelt. Een van de erkende risico’s is dat het mogelijk meldingen van zorgen over kinderen behandelt, terwijl andere ‚hallucinaties‘ en ‚onnauwkeurige resultaten‘ zijn. Het heeft een succespercentage van tweederde. Het wordt ondersteund door bedrijven als Genesys en Kerv, die wederom gebruik maken van Amazon Web Services.
