Praktijkgebieden: ICT en internetrecht
Ook bij de rijksoverheid groeit het gebruik van artificiële intelligentie (AI). Die groei gaat gepaard met een toename van serieuze risico’s. En die risico’s blijken momenteel maar beperkt in kaart te zijn gebracht. Uit een woensdag gepubliceerd rapport van de Algemene Rekenkamer blijkt dat voor meer dan de helft van de AI-systemen binnen de overheid nog geen aantoonbare risicoafweging is gemaakt.
Dat betekent dat veel van de gebruikte AI-systemen momenteel zonder grondige analyse van potentiële gevaren opereren. Terwijl discriminatie en privacy-schendingen bij het gebruik van deze systemen evident op de loer liggen. Dat is zorgelijk. Vooral in het licht van de per 1 augustus 2024 in werking getreden Europese AI-verordening. Die stelt immers strikte eisen aan het gebruik van AI-systemen, met name wanneer deze een hoog risico met zich meebrengen. De rijksoverheid heeft echter nog tot en met 2030 om ervoor te zorgen dat alle AI-systemen met een hoog risico voldoen aan de AI-verordening. Tijd om aan de slag te gaan dus.
AI-systemen hebben de potentie om overheidsprocessen te optimaliseren, maar ze brengen ook aanzienlijke risico’s met zich mee. Een van de grootste gevaren is het risico op discriminatie. AI-algoritmes leren van data. Wanneer deze data vooroordelen bevat dan kunnen die leiden tot discriminerende uitkomsten. Dat is met name problematisch in systemen die worden ingezet voor inspectie, handhaving of besluitvorming, zoals bij fraudedetectie of risicomodellen voor schuldproblematiek. Deze systemen grijpen direct in op het leven van burgers en fouten kunnen leiden tot oneerlijke behandeling van bepaalde groepen. Een schrijnend voorbeeld van waartoe dat kan leiden is natuurlijk het toeslagenschandaal.
AI-systemen kunnen bovendien een serieus privacy-risico vormen. Veel AI-systemen verwerken grote hoeveelheden persoonsgegevens, vaak zonder dat burgers zich daarvan bewust zijn. Wanneer deze gegevens onvoldoende worden beschermd, kunnen ze onbedoeld openbaar worden gemaakt of in verkeerde handen vallen. Dat maakt het essentieel dat AI-systemen voldoen aan de geldende privacywetgeving, waaronder de AVG (Algemene Verordening Gegevensbescherming).
De AI-verordening deelt AI-systemen in verschillende risicocategorieën in, variërend van minimaal tot hoog risico. Systemen die als hoog risico worden geclassificeerd, zoals AI die wordt ingezet voor biometrische identificatie of het voorspellen van schuldenproblematiek, moeten voldoen aan strenge eisen. Die omvatten onder meer gedetailleerde risicoanalyses, datakwaliteitseisen en transparantie over hoe het systeem beslissingen neemt. Organisaties moeten tevens een mensenrechtentoets uitvoeren om te waarborgen dat de inzet van AI niet in strijd is met fundamentele rechten.
“Een zorgwekkende conclusie uit het rapport is dat voor meer dan de helft van de AI-systemen binnen de overheid geen aantoonbare risicoafweging is gemaakt.“
Een zorgwekkende conclusie uit het rapport is dat momenteel voor meer dan de helft van de AI-systemen binnen de overheid geen aantoonbare risicoafweging is gemaakt. Zonder een systematische risicobeheersing is het risico op onvoorziene gevolgen groot, vooral wanneer AI-systemen beslissingen nemen die invloed hebben op de levens van burgers. Bovendien is er op dit moment geen rijksbreed instrument voor het maken van risicoafwegingen, wat leidt tot een gebrek aan uniformiteit in de manier waarop overheidsinstanties risico’s inschatten en beheren.
Hoewel de AI-verordening eisen stelt aan de ontwikkeling en het gebruik van AI-systemen, ligt de uiteindelijke verantwoordelijkheid voor risicobeheersing bij organisaties zelf. Overheidsinstanties moeten niet alleen weten welke AI-systemen zij gebruiken, maar ook hoe deze systemen zijn geclassificeerd en welke maatregelen nodig zijn om aan de wet te voldoen. Voor AI-systemen met een hoog risico moeten deze maatregelen vóór 2030 volledig zijn geïmplementeerd.
Een risico dat door het rapport wordt aangekaart, is dat er een prikkel bestaat voor organisaties om AI-systemen qua risico’s lager te classificeren om zo de strenge eisen van de AI-Verordening te vermijden. Dat kan leiden tot onderrapportage van hoogrisico-systemen, wat de effectiviteit van het toezicht en regulering ondermijnt. Om deze prikkel te vermijden, is transparantie en controle door externe toezichthouders dus essentieel.
Het rapport van de Algemene Rekenkamer onderstreept het belang van risicobeheersing voor AI-systemen binnen de rijksoverheid. AI biedt kansen, maar de risico’s mogen niet worden onderschat. Vooral niet voor wat betreft discriminatie en privacy-schendingen. Zonder gedegen risicoanalyses lopen burgers het risico slachtoffer te worden van fouten en onbedoelde vooroordelen. De rijksoverheid dient daarom actie ondernemen om te voldoen aan de nieuwe eisen die verordening stelt en een juiste balans te vinden tussen enerzijds de voordelen van innovatie en anderzijds de bescherming van fundamentele rechten. Gelukkig heeft zij daarvoor nog tot en met 2030. Maar we weten allemaal hoe lang ICT-projecten kunnen duren… Tijd om aan de slag te gaan dus.
Heeft u vragen over de nieuwe AI-verordening en het gebruik van AI-systemen? Wieringa Advocaten adviseert u graag.
Arjen Schram is niet meer werkzaam bij Wieringa Advocaten. Indien u een vraag heeft naar aanleiding van deze blog dan kunt u zich wenden tot onderstaande contactpersoon van het praktijkgebied ict en internetrecht.
Door het leggen van conservatoir (derden) beslag worden vermogensbestanddelen van een wederpartij per direct bevroren. Er kan geen overdracht meer plaatsvinden en in bepaalde gevallen kunnen vermogensbestanddelen zelfs elders in bewaring worden gegeven. Deze actie kan druk zetten op de wederpartij waardoor een snelle oplossing kan worden bereikt.
Beslaglegging moet wel altijd worden gevolgd door een bodem of arbitrage procedure, tenzij eerder een buitengerechtelijke oplossing wordt bereikt.
Onterecht leggen van beslag moet worden voorkomen; het kan leiden tot een schadevergoedingsactie.
Wij onderzoeken graag of dit rechtsmiddel in uw situatie tot een spoedige oplossing kan leiden.
Snel een uitspraak nodig van de rechter over een bepaalde urgente situatie? In dat geval is een kort geding een oplossing voor uw situatie. De rechter geeft een voorlopig oordeel waaraan partijen zich al dan niet op straffe van een dwangsom dienen te houden.
Wij denken graag mee over de voor uw situatie passende juridische oplossing.
Dit is in het civiele en bestuurlijke recht de procedure die (al dan niet na hoger beroep) leidt tot een definitieve beslechting van het geschil. Anders dan in een kort geding ligt de nadruk hier veel meer op een schriftelijke uitwisseling van processtukken.
Wij onderzoeken graag of dit de aangewezen procedure is voor uw geschil.
Een partij die zich beroept op de rechtsgevolgen van de door haar gestelde feiten of rechten moet deze bewijzen. Voorafgaand aan iedere gewenste procedure moet derhalve de bewijspositie worden bekeken.
Soms is het bewijs nog niet voldoende in handen van de cliënt. In dat geval is nadere actie gewenst. Te denken valt dan bijvoorbeeld aan het instellen van een (voorlopig) getuigenverhoor of het afdwingen van het verkrijgen van inzage in bepaalde documenten die zich bij de wederpartij bevinden (exhibitieplicht).
Wij zoeken graag met u naar de mogelijkheden om uw bewijsprobleem op te lossen.
Soms ontstaat er in een onderneming een intern geschil tussen aandeelhouders of tussen het bestuur en (enkele) aandeelhouders. Dit kan bijvoorbeeld gaan over de te volgen strategie van de onderneming. In dat geval kan aan de Ondernemingskamer, een speciaal daarvoor geëquipeerde afdeling van het Hof Amsterdam -- bij ons kantoor om de hoek -- een onderzoek naar de gang van zaken binnen de onderneming worden gevraagd. Zo'n onderzoek kan worden voorafgegaan door het vragen van voorlopige voorzieningen, zoals het schorsen van een bestuurder voor de duur van de procedure of het tijdelijk ontnemen van het stemrecht van een aandeelhouder.
Wij denken graag mee over de voor uw situatie passende oplossing.