Tdriehonderdvierentwintig. Dat was de score die Mary Louis kreeg van een AI-aangedreven tool voor het screenen van huurders. De software, SafeRent, legde in zijn elf pagina’s tellende rapport niet uit hoe de score werd berekend of hoe deze verschillende factoren woog. Wat de score eigenlijk betekende, stond er niet bij. Het gaf alleen het nummer van Louis weer en stelde vast dat het te laag was. In een vak naast het resultaat stond in het rapport: “Score-aanbeveling: DECLINE”.
Louis, die als bewaker werkt, had een appartement in het oosten aangevraagd Massachusetts voorstad. Toen ze de afdeling rondleidde, zei de beheermaatschappij dat het geen probleem zou zijn als haar aanvraag werd aanvaard. Hoewel ze een lage kredietscore had en wat creditcardschulden, had ze een geweldige referentie van haar huisbaas van 17 jaar oud, die zei dat ze haar huur consequent op tijd betaalde. Ze zou ook een voucher gebruiken voor huurders met een laag inkomen, waarmee ze garandeert dat de beheermaatschappij ten minste een deel van de maandelijkse huur aan overheidsbetalingen zal ontvangen. Haar zoon, ook vermeld op de voucher, had een hoge kredietscore, wat aangeeft dat hij als achtervang kon dienen tegen gemiste betalingen.
Maar in mei 2021, ruim twee maanden nadat ze zich had aangemeld voor het appartement, mailde de beheermaatschappij Louis om haar te laten weten dat een computerprogramma haar aanvraag had afgewezen. Ze moest een score van minimaal 443 behalen voordat haar aanvraag werd geaccepteerd. Er was geen verdere uitleg en er was geen mogelijkheid om in beroep te gaan tegen de beslissing.
“Mary, het spijt ons je te moeten mededelen dat de externe dienst die we gebruiken om alle potentiële huurders te screenen, je huurovereenkomst heeft geweigerd”, aldus de e-mail. “Helaas was de SafeRent-huurscore van de dienst lager dan toegestaan volgens onze huurnormen.”
Een huurder klaagt aan
Louis moest een duurder appartement huren. Het management daar heeft haar niet algoritmisch gescoord. Maar ze ontdekte dat haar ervaring met SafeRent niet uniek was. Ze behoorde tot een groep van meer dan 400 zwarte en Spaanse huurders in Massachusetts die huisvestingsvouchers gebruiken en zei dat hun huuraanvragen waren afgewezen vanwege hun SafeRent-score.
In 2022 kwamen ze samen om het bedrijf aan te klagen onder de Beurs Huisvesting Act en beweerde dat SafeRent hen discrimineerde. Louis en de andere genoemde aanklager, Monica Douglas, beweerden dat het algoritme van het bedrijf zwarte en Spaanse huurders die huurvouchers gebruiken onevenredig veel lager scoorde dan blanke aanvragers. Ze beweerden dat de software irrelevante rekeninginformatie over de vraag of ze goede huurders zouden zijn (kredietscores, niet-huisvestingsgerelateerde schulden) onnauwkeurig afgewogen had, maar er geen rekening mee hield dat ze een huurvoucher zouden gebruiken. Studies hebben aangetoond dat zwarte en Latijns-Amerikaanse huuraanvragers vaker een lagere kredietscore hebben en huurvouchers gebruiken dan blanke aanvragers.
‘Het was tijdverspilling om te wachten op een daling,’ zei Louis. ‚Ik wist dat mijn krediet niet goed was. Maar de AI kent mijn gedrag niet. Hij wist dat ik achterliep bij het betalen van mijn creditcard, maar hij wist niet dat ik altijd mijn huur betaal.”
Er zijn twee jaar verstreken sinds de groep SafeRent voor het eerst aanklaagde – zo lang dat Louis zegt dat ze verder is gegaan met haar leven en de rechtszaak bijna is vergeten, hoewel ze een van de slechts twee genoemde eisers was. Maar haar acties kunnen andere huurders die gebruik maken van vergelijkbare huisvestingsprogramma’s, bekend als Sectie 8-vouchers voor hun plaats in het Amerikaanse federale wetboek, nog steeds beschermen tegen het mislopen van huisvesting vanwege een algoritmisch bepaalde score.
SafeRent heeft een schikking getroffen met Louis en Douglas. Naast het doen van een betaling van 2,3 miljoen dollar, heeft het bedrijf ermee ingestemd om te stoppen met het gebruik van een scoresysteem of enige vorm van aanbeveling te doen als het gaat om potentiële huurders die gedurende vijf jaar huurvouchers hebben gebruikt. Hoewel SafeRent wettelijk geen wangedrag heeft toegegeven, komt het zelden voor dat een technologiebedrijf wijzigingen in zijn kernproducten accepteert als onderdeel van een schikking; het meest voorkomende resultaat van dergelijke overeenkomsten zou een financiële overeenkomst zijn.
“Hoewel SafeRent blijft geloven dat de SRS-scores voldoen aan alle toepasselijke wetten, zijn rechtszaken tijdrovend en duur”, zegt Yazmin Lopez, een woordvoerder van het bedrijf, in een verklaring. “Het werd steeds duidelijker dat het verdedigen van de SRS-score in dit geval tijd en middelen zou wegnemen die SafeRent beter kan gebruiken om zijn kernmissie te vervullen: woningaanbieders de tools geven die ze nodig hebben om aanvragers te screenen.”
Uw nieuwe AI-verhuurder
Systemen voor het screenen van huurders zoals SafeRent worden vaak gebruikt als een manier om ‘rechtstreekse interactie’ met aanvragers te vermijden en de schuld voor een weigering af te schuiven op een computersysteem, zegt Todd Kaplan, een van de advocaten die Louis vertegenwoordigt en de klasse van eisers die de zaak hebben aangeklaagd. bedrijf.
Het vastgoedbeheerbedrijf vertelde Louis dat alleen de software besloot haar af te wijzen, maar het SafeRent-rapport gaf aan dat het het beheerbedrijf was dat de drempel bepaalde voor hoe hoog iemand moest scoren om zijn aanvraag geaccepteerd te krijgen.
Toch is de werking van het algoritme zelfs voor mensen die betrokken zijn bij het sollicitatieproces ondoorzichtig. De vastgoedbeheerder die Louis het appartement liet zien, zei dat ze niet kon begrijpen waarom Louis problemen zou hebben met het huren van het appartement.
„Ze voeren een heleboel informatie in en SafeRent komt met hun eigen scoresysteem“, zei Kaplan. “Het maakt het voor mensen moeilijker om te voorspellen hoe SafeRent ze gaat bekijken. Niet alleen voor de huurders die solliciteren, zelfs de verhuurders kennen de ins en outs van de SafeRent-score niet.”
Als onderdeel van de schikking van Louis met SafeRent, die op 20 november werd goedgekeurd, kan het bedrijf niet langer een scoresysteem gebruiken of aanbevelen of een huurder moet worden geaccepteerd of afgewezen als deze een huurvoucher gebruikt. Als het bedrijf toch met een nieuw scoresysteem komt, is het verplicht dit onafhankelijk te laten valideren door een derde partij, een beurshuisvestingsorganisatie.
“Door de duim omhoog en omlaag-bepaling te verwijderen, kan de huurder echt zeggen: ‚Ik ben een geweldige huurder’”, aldus Kaplan. „Het maakt het een veel meer geïndividualiseerde bepaling.“
na nieuwsbriefpromotie
AI verspreidt zich naar fundamentele delen van het leven
Bijna alle 92 miljoen mensen in de VS die als een laag inkomen worden beschouwd, zijn blootgesteld aan AI-besluitvorming op fundamentele onderdelen van het leven, zoals werkgelegenheid, huisvesting, medicijnen, scholing of overheidssteun, volgens een nieuw rapport over de schade van AI door advocaat Kevin de Liban, die mensen met lage inkomens vertegenwoordigde als onderdeel van de Legal Aid Society. De oprichter van een nieuwe AI-justitieorganisatie belde TechTonische gerechtigheidbegon De Liban voor het eerst deze systemen te onderzoeken in 2016 toen hij werd benaderd door patiënten met een handicap in Arkansas die plotseling niet meer zoveel uren door de staat gefinancierde thuiszorg kregen vanwege geautomatiseerde besluitvorming waarbij de menselijke inbreng werd verminderd. In één geval was de Medicaid-dispensatie van de staat gebaseerd op een programma dat vaststelde dat een patiënt geen problemen had met zijn voet omdat deze was geamputeerd.
“Dit deed me beseffen dat we AI-systemen niet moeten beschouwen als een soort uiterst rationele manier om beslissingen te nemen”, aldus De Liban. Hij zei dat deze systemen verschillende veronderstellingen maken, gebaseerd op ‘rommelstatistische wetenschap’, die resulteren in wat hij ‘absurditeiten’ noemt.
In 2018, nadat De Liban namens deze patiënten het departement voor menselijke diensten van Arkansas had aangeklaagd vanwege het besluitvormingsproces van het departement, oordeelde de staatswetgever dat het agentschap niet langer automatiseren de bepaling van de toewijzingen van patiënten voor thuiszorg. De Liban’s overwinning was een vroege overwinning in de strijd tegen de schade veroorzaakt door algoritmische besluitvorming, hoewel het gebruik ervan landelijk nog steeds voortduurt op andere gebieden, zoals de werkgelegenheid.
Er zijn maar weinig regels die de verspreiding van AI tegengaan, ondanks gebreken
Er zijn weinig wetten die het gebruik van AI beperken, vooral bij het nemen van daaruit voortvloeiende beslissingen die de kwaliteit van leven van een persoon kunnen beïnvloeden, evenals mogelijkheden voor aansprakelijkheid voor mensen die schade lijden door geautomatiseerde beslissingen.
Een onderzoek uitgevoerd door Consumentenrapportengepubliceerd in juli, ontdekte dat een meerderheid van de Amerikanen zich “ongemakkelijk voelde over het gebruik van AI en algoritmische besluitvormingstechnologie rond belangrijke levensmomenten als het gaat om huisvesting, werkgelegenheid en gezondheidszorg”. Respondenten zeiden dat ze zich ongemakkelijk voelden omdat ze niet wisten welke informatie AI-systemen gebruikten om hen te beoordelen.
Anders dan in het geval van Louis worden mensen vaak niet op de hoogte gesteld wanneer een algoritme wordt gebruikt om een beslissing over hun leven te nemen, waardoor het moeilijk wordt om tegen die beslissingen in beroep te gaan of deze aan te vechten.
“De bestaande wetten die we hebben kunnen nuttig zijn, maar ze zijn beperkt in wat ze je kunnen opleveren”, zei De Liban. “De marktkrachten werken niet als het om arme mensen gaat. Alle prikkels liggen feitelijk in het produceren van meer slechte technologie, en er is geen prikkel voor bedrijven om mensen met een laag inkomen goede opties te bieden.”
Federale toezichthouders onder leiding van Joe Biden hebben verschillende pogingen ondernomen om de snel evoluerende AI-industrie bij te benen. De president vaardigde een uitvoerend bevel uit dat een raamwerk omvatte dat gedeeltelijk bedoeld was om de nationale veiligheids- en discriminatiegerelateerde risico’s in AI-systemen aan te pakken. Donald Trump heeft echter beloften gedaan om dat werk ongedaan te maken en de regelgeving te schrappen, waaronder Biden’s uitvoerend bevel over AI.
Dat kan ervoor zorgen dat rechtszaken zoals die van Louis een belangrijker weg voor AI-verantwoordelijkheid worden dan ooit. De rechtszaak al de belangstelling gewekt van het Amerikaanse ministerie van Justitie en het ministerie van Volkshuisvesting en Stedelijke Ontwikkeling – die beide een discriminerend huisvestingsbeleid hanteren dat van invloed is op beschermde klassen.
“Voor zover dit een baanbrekend geval is, heeft het de potentie om een routekaart te bieden voor de manier waarop naar deze gevallen moet worden gekeken en om andere uitdagingen aan te moedigen”, aldus Kaplan.
Toch zal het moeilijk zijn om deze bedrijven verantwoordelijk te houden als er geen regelgeving is, zegt De Liban. Rechtszaken kosten tijd en geld, en de bedrijven kunnen een manier vinden om tijdelijke oplossingen of soortgelijke producten te ontwikkelen voor mensen die niet onder collectieve rechtszaken vallen. ‚Je kunt dit soort koffers niet elke dag meenemen‘, zei hij.
