De AI Act uitgelegd voor gemeenten en zorgorganisaties

Europa neemt de leiding

Op 1 augustus 2024 is de Europese AI Act officieel in werking getreden. Het is de eerste uitgebreide AI-wetgeving ter wereld, en het zal de manier waarop organisaties AI ontwikkelen en gebruiken fundamenteel veranderen. Vooral voor gemeenten en zorgorganisaties heeft deze wet grote gevolgen -en de tijd om je voor te bereiden tikt door.

In dit artikel leggen we uit wat de AI Act inhoudt, wat het specifiek betekent voor de publieke sector en de zorg, en welke concrete stappen je nu al kunt nemen.

De kern: risicoclassificatie

De AI Act werkt met een risicoclassificatie in vier niveaus. Hoe hoger het risico, hoe strenger de eisen.

Onaanvaardbaar risico (verboden)

Deze AI-toepassingen zijn simpelweg niet toegestaan:

• Social scoring door overheden (zoals in China)
• Realtime biometrische identificatie in openbare ruimtes (met beperkte uitzonderingen voor wetshandhaving)
• AI die menselijk gedrag manipuleert op een manier die schade veroorzaakt
• Exploitatie van kwetsbare groepen

Hoog risico

Dit is de categorie waar gemeenten en zorgorganisaties goed op moeten letten. AI-systemen worden als hoog risico geclassificeerd wanneer ze worden ingezet voor:

• Toegang tot publieke diensten en uitkeringen: denk aan WMO-aanvragen, bijstandsbeoordelingen, schuldhulpverlening
• Onderwijs en beroepsopleiding: toelatingsbeslissingen, beoordelingssystemen
• Werkgelegenheid: werving en selectie, prestatie-evaluatie
• Kritieke infrastructuur: water, energie, transport
• Gezondheidszorg: medische diagnose-ondersteuning, triage, behandelplanning
• Rechtshandhaving: risicobeoordeling, fraudedetectie

Voor hoog-risico systemen gelden strenge eisen rondom kwaliteit, transparantie, documentatie en menselijk toezicht.

Beperkt risico

Hierbij gelden vooral transparantieverplichtingen. Denk aan chatbots: gebruikers moeten weten dat ze met een AI communiceren. Dit geldt ook voor AI-gegenereerde content.

Minimaal risico

De meeste AI-toepassingen vallen in deze categorie -spamfilters, aanbevelingssystemen voor interne documenten, slimme zoekmachines. Hiervoor gelden geen aanvullende eisen.

Wat betekent dit voor gemeenten?

Laten we concreet worden. Als gemeente gebruik je AI waarschijnlijk (of overweeg je dat) voor toepassingen die direct invloed hebben op het leven van inwoners.

WMO-beslissingen

Stel: je gemeente gebruikt AI om WMO-aanvragen te beoordelen of voor te bereiden. Dit valt onder hoog risico, want het gaat om "toegang tot publieke diensten." Dat betekent dat je moet voldoen aan deze eisen:

Risicobeheerssysteem: je moet een doorlopend systeem hebben dat risico's identificeert, analyseert en beperkt. Niet eenmalig, maar continu.

Data governance: de data waarmee het systeem werkt, moet relevant, representatief en zo foutvrij mogelijk zijn. Als je trainingsdata een bias bevat -bijvoorbeeld als historische beslissingen discriminerend waren -reproduceert de AI die bias.

Technische documentatie: je moet gedetailleerd vastleggen hoe het systeem werkt, waarvoor het bedoeld is, en welke tests zijn uitgevoerd. Een leverancier die zegt "dat is bedrijfsgeheim" volstaat niet meer.

Transparantie naar gebruikers: medewerkers die met het systeem werken, moeten begrijpen wat het doet en wat de beperkingen zijn. Zij moeten de output kunnen interpreteren en waar nodig overrulen.

Menselijk toezicht: er moet altijd een mens in de loop zitten die kan ingrijpen. Volledig geautomatiseerde beslissingen over publieke diensten zijn in principe niet toegestaan.

Nauwkeurigheid en robuustheid: het systeem moet betrouwbaar functioneren en bestand zijn tegen fouten en pogingen tot manipulatie.

Een praktisch voorbeeld

Stel dat jouw gemeente een AI-systeem wil inzetten dat WMO-aanvragen beoordeelt en een advies geeft aan de medewerker. Wat moet je dan documenteren?

• Het doel van het systeem en de beoogde gebruikers
• De data waarop het systeem is getraind en getest
• De prestatie-indicatoren (hoe nauwkeurig is het?) en bekende beperkingen
• De maatregelen voor menselijk toezicht
• De risicobeoordeling en genomen maatregelen
• Hoe het systeem wordt gemonitord na ingebruikname
• Een plan voor wanneer het systeem niet naar behoren functioneert

Dit is geen bureaucratische oefening -het is een manier om verantwoord met AI om te gaan en het vertrouwen van inwoners te verdienen.

Wat betekent dit voor zorgorganisaties?

In de zorg zijn de risico's bijzonder hoog, omdat AI-systemen direct of indirect invloed kunnen hebben op de gezondheid van mensen.

Diagnose en behandeling

AI-systemen die worden gebruikt als medisch hulpmiddel -voor diagnose-ondersteuning, behandelplanning of monitoring -vallen onder hoog risico. Ze moeten voldoen aan zowel de AI Act als de bestaande wetgeving voor medische hulpmiddelen (MDR).

Triage en planning

Ook AI die wordt ingezet voor het prioriteren van patienten of het toewijzen van zorgcapaciteit kan als hoog risico worden geclassificeerd, zeker als het systeem invloed heeft op wie wanneer zorg ontvangt.

Administratieve AI

Niet alle AI in de zorg is hoog risico. Een AI die helpt bij het samenvatten van vergadernotulens of het plannen van vergaderingen valt waarschijnlijk onder minimaal risico. Het is belangrijk om per toepassing te beoordelen in welke categorie die valt.

De tijdlijn: wanneer moet je klaar zijn?

De AI Act kent een gefaseerde invoering:

• Februari 2025: verbod op AI-praktijken met onaanvaardbaar risico
• Augustus 2025: regels voor general-purpose AI-modellen (denk aan ChatGPT, Gemini)
• Augustus 2026: de meeste bepalingen worden van kracht, inclusief de eisen voor hoog-risico systemen

Augustus 2026 lijkt misschien ver weg, maar voor organisaties die nu al AI gebruiken of dat van plan zijn, is het verstandig om nu te beginnen met voorbereiden.

Vijf stappen die je nu kunt nemen

1. Inventariseer je AI-gebruik

Maak een overzicht van alle AI-toepassingen in je organisatie -inclusief de tools die medewerkers op eigen initiatief gebruiken. Classificeer elke toepassing volgens de risicocategorieen van de AI Act.

2. Voer een gap-analyse uit

Vergelijk je huidige praktijk met de eisen van de AI Act. Waar voldoe je al aan? Waar zitten de gaten? Focus eerst op de hoog-risico toepassingen.

3. Versterk je governance

Wijs verantwoordelijkheden toe. Wie is eigenaar van welk AI-systeem? Wie voert het toezicht uit? Zorg dat er een duidelijke governance structuur is, bij voorkeur in lijn met bestaande structuren voor informatiebeveiliging en privacy.

4. Begin met documenteren

Start met het opbouwen van de technische documentatie die de AI Act vereist. Dit is vaak het meest tijdrovende onderdeel, dus begin vroeg. Vraag leveranciers om de informatie die je nodig hebt.

5. Investeer in kennis

Zorg dat de relevante medewerkers -van bestuurders tot uitvoerders -begrijpen wat de AI Act inhoudt en wat het voor hen betekent. AI-geletterdheid is geen luxe meer, het is een noodzaak.

Geen reden voor paniek, wel voor actie

De AI Act is geen straf voor organisaties die AI gebruiken. Het is een kader dat ervoor zorgt dat AI veilig, transparant en eerlijk wordt ingezet. Voor gemeenten en zorgorganisaties die al waarden als transparantie en zorgvuldigheid hoog in het vaandel hebben, sluit de AI Act goed aan bij wat ze al doen.

Maar het vereist wel actie. De organisaties die nu beginnen met voorbereiden, hebben straks een voorsprong. Niet alleen juridisch, maar ook in het vertrouwen van hun inwoners, clienten en medewerkers.

Bij Humanaize helpen we gemeenten en zorgorganisaties bij het navigeren van de AI Act. Van inventarisatie tot implementatie, van governance tot training. Want wetgeving hoeft geen obstakel te zijn -het kan een katalysator zijn voor verantwoorde innovatie.