AI-værktøjer i skolen: sådan tjekker I lovligheden, før I tager dem i brug

Vejledningen samler arbejdet i syv trin. De er skrevet til complianceansvarlige, ledelse og undervisere, og de kan bruges som dagsorden for det møde, hvor beslutningen skal træffes.

1. Kortlæg jeres AI-løsninger. Hvilke værktøjer bruges allerede, hvilket risikoniveau har de, og hvilke personoplysninger behandler de? Punktet er ofte en øjenåbner, fordi listen er længere end forventet.
2. Kortlæg jeres rolle. Er I dataansvarlige eller databehandlere, og er I idriftsætter eller udbyder? Svaret afgør, hvilke pligter der overhovedet gælder for jer.
3. Vurder lovligheden. Både efter AI-forordningen og efter databeskyttelsesreglerne, herunder om der er et lovligt behandlingsgrundlag.
4. Vurder og håndter risici og sikkerhed. Her ligger spørgsmålet om konsekvensanalyse, og her ligger overførsler til lande uden for EU og EØS.
5. Oplys de registrerede. Elever, forældre og ansatte skal vide, at deres oplysninger behandles, og hvordan de kan bruge deres rettigheder.
6. Fastsæt politikker og retningslinjer. Hvad må bruges, til hvad, og hvad må aldrig tastes ind?
7. Undervis medarbejderne. Både i AI-færdigheder og i jeres egne politikker og procedurer.

Trin et til fire er dem, der tager tid. Trin fem til syv er dem, der oftest bliver glemt, og som en tilsynssag vil spørge til.

En konsekvensanalyse, ofte kaldt en DPIA, skal laves, før behandlingen sættes i gang, hvis jeres risikovurdering peger på, at behandlingen sandsynligvis indebærer en høj risiko for de registreredes rettigheder og frihedsrettigheder.

For AI er det sjældent et åbent spørgsmål. Datatilsynet anser AI for at være ny teknologi og vurderer, at risikoen for fysiske personers rettigheder normalt vil være høj ved udvikling og brug af AI-løsninger. Når behandlingen oven i købet handler om børn og om deres skolegang, er der ikke mange gode grunde til at springe analysen over.

Analysen har tre opgaver:

• at beskrive den konkrete behandling af personoplysninger,
• at vurdere behandlingens nødvendighed og proportionalitet,
• at håndtere de risici for den enkelte, som behandlingen fører med sig.

AI-forordningen deler systemer op efter risiko. Bilag III lister de områder, hvor et selvstændigt AI-system regnes for højrisiko, og et af dem hedder “Uddannelse og erhvervsuddannelse”. Kategorien dækker blandt andet systemer, der bruges til at:

• bestemme adgang eller optagelse,
• fordele personer på uddannelsesinstitutioner eller uddannelser,
• evaluere personers læringsudbytte,
• bedømme en persons nødvendige uddannelsesniveau og væsentligt påvirke den uddannelse, personen vil modtage eller kunne få adgang til,
• overvåge og opdage forbudt adfærd, blandt andet hos elever under prøver.

Begrundelsen i forordningen er, at den type systemer kan afgøre en persons uddannelsesmæssige og arbejdsmæssige livsforløb. Det er også derfor, at et værktøj, der selv fastsætter en karakter, står et andet sted i risikobilledet end et værktøj, der skriver et udkast, læreren justerer og godkender.

Om et konkret værktøj falder ind under bilag III, afhænger af, hvad værktøjet rent faktisk afgør, og den vurdering er jeres som idriftsætter. Derfor er det spørgsmål nummer ni på listen længere nede: få leverandørens egen vurdering skriftligt, og få begrundelsen med.

Tidslinjen, I skal regne med

AI-forordningen trådte i kraft den 1. august 2024, og reglerne får virkning i etaper:

• 2. februar 2025: reglerne om AI-færdigheder og om forbudte former for AI-praksis.
• 2. august 2025: regler om EU-organer og nationale organer, om AI-modeller til almen brug og om sanktioner.
• 2. august 2026: de øvrige dele, herunder transparenskravene og højrisikoforpligtelserne for bilag III-systemer.

Hvis systemet er højrisiko

Så følger der en række pligter med for jer som idriftsætter. Blandt dem: at bruge systemet efter brugsanvisningen, at lægge det menneskelige tilsyn hos personer med den nødvendige kompetence og myndighed, at sikre at inputdata er relevante og tilstrækkeligt repræsentative, at overvåge driften, at opbevare systemets logfiler i mindst seks måneder, at informere berørte medarbejdere, at sørge for registrering i en EU-database og ofte at udarbejde en konsekvensanalyse vedrørende grundlæggende rettigheder.

To spørgsmål afgør det meste af sagen: forlader elevernes oplysninger EU, og bliver de brugt til at træne nogens model?

Ministeriets vejledning noterer tørt, at AI-løsninger leveret af store internationale cloudleverandører ofte vil indebære overførsler til tredjelande. Sker der en overførsel, skal I have et overførselsgrundlag, og går overførslen til et usikkert tredjeland, har I som dataansvarlig pligt til at udarbejde en Transfer Impact Assessment.

Træning er den anden halvdel. Det skal stå i databehandleraftalen, at oplysningerne kun må behandles til skolens formål, og at de ikke må bruges til at træne modeller. Står det ikke der, er det ikke aftalt, uanset hvad der står på leverandørens forside.

Det tredje greb er det billigste: at behandle færre oplysninger. Hvis en opgavetekst kan behandles uden elevens navn, klasse og cpr-nummer, falder både risikoen og arbejdet med at dokumentere den.

Listen kan kopieres direkte ind i en mail. Svarene hører hjemme i jeres dokumentation, og de bør komme skriftligt.

1. Hvilke personoplysninger behandler værktøjet, og hvilke af dem sendes videre til en sprogmodel?
2. Kan værktøjet bruges, uden at elevens navn eller andre identificerbare oplysninger forlader vores egne systemer?
3. Hvor ligger databasen geografisk, og hvilket selskab driver den?
4. Hvilken sprogmodel bruges, hvem hoster den, og i hvilken region?
5. Kan I fremvise en databehandleraftale, og hvem står på listen over underdatabehandlere?
6. Står der udtrykkeligt i aftalen, at vores data ikke bruges til at træne modeller?
7. Sker der overførsel af personoplysninger til lande uden for EU og EØS, og på hvilket overførselsgrundlag?
8. Hvor længe gemmes elevernes tekster, hvordan slettes de, og kan vi slette dem selv?
9. Hvordan vurderer I selv systemet i forhold til AI-forordningens bilag III, og hvad er begrundelsen?
10. Hvilken dokumentation kan I levere til vores konsekvensanalyse?
11. Hvor sidder mennesket i beslutningen? Kan systemet træffe en afgørelse om en elev, uden at en lærer har set den?
12. Hvad logges, hvem hos jer kan se loggen, og hvor længe gemmes den?

Leverandøren kan svare på halvdelen. Den anden halvdel er skolens eget arbejde, og den bliver tit liggende.

• Fortegnelsen. Behandlingen skal skrives ind i fortegnelsen over behandlingsaktiviteter.
• Oplysningspligten. Elever, forældre og ansatte skal have at vide, at oplysningerne behandles, og hvad det betyder. Teksten skal kunne læses af en elev i udskolingen, ikke kun af en jurist.
• Retningslinjerne. Hvilke værktøjer må lærerne bruge, til hvilke opgaver, og hvad må under ingen omstændigheder tastes ind? Uden det svar træffer den enkelte lærer beslutningen alene, og så er den truffet uden dokumentation.
• AI-færdigheder. Kravet har fundet anvendelse siden den 2. februar 2025 og handler om, at de medarbejdere, der bruger systemerne, forstår dem godt nok til at kunne føre tilsyn med dem.

Det sidste punkt er også det, der afgør, om værktøjet bliver brugt. Et AI-værktøj, ingen tør bruge, fordi ingen ved, hvad der er tilladt, koster det samme som et, der bliver brugt.

Censai er et feedbackværktøj til skriftlige opgaver, så listen ovenfor er en, vi selv bliver målt på. Her er svarene på de spørgsmål, der oftest kommer først.

Det sidste punkt fjerner ikke jeres vurdering efter bilag III, men det er en del af det billede, vurderingen skal laves ud fra. Vi har skrevet mere om, hvorfor karakteren bliver hos læreren, på siden om forskningen bag, og de øvrige svar står under tillid og sikkerhed.