Voor Decision Intelligence betekent een hoog-risicoclassificatie dat de organisatie de feitelijke inzet moet onderbouwen en als deployer zelfstandige verplichtingen krijgt: invoerdata controleren, betekenisvol menselijk toezicht organiseren en automatisch gegenereerde logs volgens de toepasselijke vereisten bewaren. Dit geldt wanneer de output binnen relevante Annex III-domeinen materieel stuurt op besluiten over natuurlijke personen; een dashboard, aanbeveling of menselijke handtekening sluit dat niet uit.
Kort samengevat: hoog-risico Decision Intelligence
Niet de naam van de analysetool, maar de koppeling tussen de output en een persoonsgericht besluit bepaalt of een nadere hoog-risicobeoordeling nodig is.
- Maak onderscheid tussen geaggregeerde markt- of trendanalyse en output die een individuele persoon scoort, rangschikt of aan een uitkomst koppelt.
- Beoordeel het feitelijke gebruik in onder meer werving, kredietbeoordeling en essentiële diensten; ook een advies kan zonder formeel eindbesluit bepalend zijn.
- Ga bij profilering niet uit van een laag-risicouitzondering: geautomatiseerde beoordeling van bijvoorbeeld betrouwbaarheid, prestaties of kredietwaardigheid beperkt die ruimte.
- Leg vast hoe data, toezicht, besluitinvloed en systeemgebruik samen te reconstrueren zijn, zodat niet alleen de einduitkomst maar ook de operationele context aantoonbaar blijft.
- Wijs een toezichthouder aan die de informatie, deskundigheid en bevoegdheid heeft om een uitkomst inhoudelijk te beoordelen, te negeren of de workflow te stoppen.
- Onderbouw de inzet met leveranciersdocumentatie, data- en biascontroles en toegankelijke loggegevens. Tekortkomingen kunnen leiden tot maatregelen, stillegging of boetes.
Wanneer valt Decision Intelligence mogelijk onder hoog-risico regels?
Voor een eerste afbakening van Decision Intelligence telt het niveau waarop de analyse wordt toegepast: patronen in een markt of groep verschillen van output die aan een individueel dossier wordt gekoppeld. De vergelijking hieronder geeft geen definitieve juridische kwalificatie, maar maakt zichtbaar welke inzet nader moet worden beoordeeld.
| Inzet van de analyse | Kenmerk van de output | Gevolg voor de eerste beoordeling |
|---|---|---|
| Geaggregeerde trend- en marktanalyse | De output beschrijft patronen op groeps- of marktniveau en vormt geen individueel herleidbaar besluit over een natuurlijke persoon. | Deze inzet geldt als minimaal risico. De analyse blijft op een niveau waarop geen persoon wordt beoordeeld of aan een uitkomst wordt gekoppeld. |
| Persoonsgerichte analyse | De workflow ondersteunt besluiten die herleidbaar zijn tot individuele natuurlijke personen. | Deze toepassing valt direct onder Annex III. Het relevante onderscheid zit dus niet in de naam van de workflow, maar in de koppeling tussen de output en een individueel besluit. |
| Profilering | De workflow evalueert geautomatiseerd iemands prestaties, betrouwbaarheid of kredietwaardigheid. | Dan is de uitzondering van Artikel 6 lid 3 voor laag risico niet beschikbaar. Dit signaal beperkt de ruimte om een persoonsgerichte toepassing als procedureel of beperkt te behandelen. |
| Eigen historische data | De organisatie levert zelf historische trainings- of testdata aan. | Volgens Artikel 26 lid 4 rust op de organisatie verantwoordelijkheid voor de representativiteit en relevantie van die data. Die verantwoordelijkheid blijft dus niet uitsluitend bij de leverancier liggen. |
Leg bij de classificatie daarom vast of de output personen beoordeelt, of profilering plaatsvindt en welke eigen historische data de organisatie aanlevert. Dat dossier vormt het vertrekpunt voor de verdere beoordeling van de toepasselijke verplichtingen.
Een dashboardlabel en menselijke handtekening veranderen de inzet niet
Een Decision Intelligence-dashboard blijft niet buiten de hoog-risicobeoordeling doordat het als analyse- of advieslaag wordt gepresenteerd. Bij de beoordeling telt waarvoor de workflow is bedoeld en wordt ingezet: een workflow die output levert voor werving, kredietscoring of essentiële diensten kan binnen een relevant Annex III-domein vallen, ongeacht de naam van de interface. De vraag is dus niet of een scherm een eindbesluit toont, maar of de analytische output de behandeling van een persoon in dat besluitvormingsproces stuurt.
Ook een formele goedkeuring door een medewerker verandert dat niet. Toezicht is pas daadwerkelijk aanwezig wanneer de aangewezen beoordelaar voldoende informatie en deskundigheid heeft om het advies inhoudelijk te beoordelen, én technisch bevoegd is om daarvan af te wijken of de workflow te stoppen. Een beoordelaar die alleen een score ontvangt en geen mogelijkheid heeft om de uitkomst te betwisten of het proces te onderbreken, kan de automatisering niet effectief begrenzen.
Dit onderscheid is vooral relevant voor geautomatiseerde selectie- en kredietacceptatiesystemen. De feitelijke inzet, de informatiepositie van de beoordelaar en diens ingrijpmogelijkheden moeten samen aantoonbaar maken dat menselijke tussenkomst meer is dan een verplichte handtekening.
Drie auditgaten ontstaan wanneer aanbevelingen als vrijblijvend gelden
Een audittrail faalt meestal niet door één ontbrekend document, maar doordat de organisatie de output als vrijblijvende ondersteuning behandelt. Tijdens inventarisatie en inkoop zijn drie gaten herkenbaar. Elk gat maakt het moeilijker om een individuele uitkomst, de rol van de mens en de eigen inzet van de workflow achteraf te reconstrueren.
- De advies-illusie. Een team kan aannemen dat een workflow buiten Annex III valt omdat zij alleen aanbevelingen toont en een medewerker het eindbesluit ondertekent. Die redenering laat buiten beeld of de aanbeveling feitelijk bepalend is voor een selectie of beoordeling. Leg daarom naast het formele besluit vast welke invloed de score, rangschikking of aanbeveling had op de uitkomst. Alleen een menselijke handtekening beschrijft niet hoe de besluitvorming in de praktijk verliep.[1][2][3]
- Passieve inkoop. Algemene uitspraken van een leverancier over gereedheid voor de AI Act vervangen geen gebruiksdocumentatie en geen inrichting van de eigen taken als deployer. Vraag naar de Artikel 13-documentatie en leg vast hoe de eigen organisatie haar verantwoordelijkheden onder Artikel 26 uitvoert. Zonder die koppeling blijft onduidelijk welke informatie intern beschikbaar is om het gebruik, toezicht en de gegevensinvoer te onderbouwen.
- Gefragmenteerde logging. Een registratie van alleen “afgewezen” of “geaccepteerd” is onvoldoende om een afzonderlijk besluit terug te volgen. Voor reconstructie ontbreken dan onder meer de gebruikte invoerfeatures, waarschijnlijkheidsscores en de identiteit van de toezichthouder. Artikel 26 verlangt dat deployers automatisch gegenereerde systeemlogs bewaren voor een periode die bij de toepasselijke verplichtingen past.[4] Daarmee blijft niet alleen de uitkomst beschikbaar, maar ook de operationele context waarin die ontstond. Een losse eindstatus zonder deze gegevens laat een audittrail onvolledig.[4]
Zo leg je een persoonsgerichte workflow vast vóór zij beslissingen stuurt
Leg de workflow vast vanuit de feitelijke output en het besluit dat daarop volgt. Deze werkwijze geeft geen definitieve juridische kwalificatie, maar maakt zichtbaar welke feiten en controles nodig zijn voordat de workflow operationele besluiten over natuurlijke personen kan beïnvloeden.
- 1. Beschrijf de persoonsgerichte output. Leg vast of de workflow individuele scores, rangschikkingen of toewijzingsaanbevelingen genereert. Noteer ook voor welk beslisdomein de output bedoeld is en welke natuurlijke personen de gevolgen ondervinden. Analytische modellen met deze output in de relevante Annex III-domeinen worden als hoog-risicosystemen gekwalificeerd wegens hun directe invloed op levenskansen en grondrechten.[1][5]
- 2. Maak de inzet traceerbaar. Beschrijf niet alleen welke score wordt geproduceerd, maar ook hoe die score wordt gebruikt in de werkstap die daarop volgt. Leg vast of de score een kandidaat rangschikt, een kredietaanvraag beïnvloedt of iemand aan een uitkomst toewijst. Zo ontstaat een dossier over de feitelijke werking, in plaats van alleen over de technische omschrijving van het systeem.
- 3. Leg de taken van de deployer naast de workflow. Documenteer hoe de organisatie invoerdata controleert, hoe toezicht plaatsvindt en wie dat toezicht uitvoert. Voor hoog-risicosystemen rusten zelfstandige verplichtingen op de deployer, waaronder controle van invoerdata, toezicht en het bewaren van automatisch gegenereerde systeemlogs.[4] Maak daarom expliciet waar die logs beschikbaar blijven en wie ze kan raadplegen wanneer een besluit onderzocht moet worden.
- 4. Behandel biascontrole als doorlopende vraag. Een test vóór ingebruikname sluit niet uit dat tijdens gebruik verschuivende populatiedata of geaccumuleerde selectiebias ontstaan. Herhaal de beoordeling van die veranderingen. Anders kan een workflow operationeel blijven terwijl de populatie waarop zij wordt toegepast niet meer aansluit op de situatie waarin eerder is getoetst.[2][6]
- 5. Koppel de registratie aan de inzet. Bewaar de classificatie, de beschrijving van de output, de data-controles, de toezichtrol en de logbewaring als één samenhangend intern dossier. Niet-naleving van deze verplichtingen kan financiële gevolgen hebben, naast andere handhavingsmaatregelen.[7]
Een hoog-risicobeoordeling begint bij bewijs dat de workflow bestuurbaar is
Voor inkoop of voortgezet gebruik is een mogelijke hoog-risicoworkflow pas verdedigbaar wanneer de leveranciersdocumentatie aantoonbaar aansluit op de feitelijke inzet. Een algemene gereedheidsclaim volstaat niet. Het dossier moet laten zien waarvoor het systeem is bedoeld, in welke operationele scenario’s het is getest, welke foutmarges gelden en welke concrete instructies toezichthouders krijgen. Alleen dan is vast te stellen of de beschreven inzet overeenkomt met wat medewerkers in de praktijk kunnen beoordelen en bijsturen.
Die koppeling vraagt ook om methodologische rapportages van bias- en data-audits. Daaruit moet blijken hoe trainings- en validatiedata op representativiteit zijn onderzocht en hoe verschillen tussen subgroepen zijn beoordeeld. Zulke rapportages bewijzen niet zelfstandig dat aan alle vereisten is voldaan, maar maken wel zichtbaar of de gebruikte data en de feitelijke toepassing als één geheel zijn onderzocht.
Beoordeel formele conformiteitsdocumentatie daarnaast afzonderlijk van de operationele onderbouwing. Leg in contracten en technische SLA’s vast dat auditlogs exporteerbaar zijn in een bruikbaar formaat en gedurende de toepasselijke bewaartermijn beschikbaar blijven. Ontbreekt die export, dan blijft de organisatie afhankelijk van de leverancier op het moment dat zij haar eigen inzet moet reconstrueren en onderbouwen.
Dit artikel biedt geen juridisch advies. De toepasselijke verplichtingen hangen af van het doel, de functionaliteit, de gebruikerscontext en de risicoclassificatie van het systeem. Laat de concrete toepassing juridisch beoordelen vóór productiegebruik.