Spring til indhold

Sådan vælger I et feedbackværktøj til skriftlige opgaver: ni kriterier

Der kommer hele tiden nye værktøjer til opgavebunken, og de ligner hinanden på forsiden. Forskellene viser sig først, når man spørger ind til, hvem der bestemmer, hvad feedbacken bygger på, og hvor data ender. Her er de ni spørgsmål, vi selv ville stille.

Af Frederik Engberg og Andreas Zacharias7 min. læsning

Kort fortalt

  • Det vigtigste kriterium er, om læreren godkender feedbacken, før eleven ser den. Går feedbacken direkte til eleven, er læreren ikke længere med i det, eleven får.
  • Et karakterforslag flytter en del af vurderingen over på systemet, også når læreren kan ændre det.
  • Feedback, der ikke peger på konkrete steder i elevens tekst, bliver let generisk. Bed om at se et rigtigt eksempel på en rigtig opgave.
  • Spørg til data før funktioner: hvor data ligger, om der er en databehandleraftale, og om elevernes tekster bruges til at træne modeller.

Hvorfor forsiden ikke er nok

De fleste feedbackværktøjer lover det samme: mindre tid på rettearbejdet og bedre feedback til eleverne. Forskellen ligger i, hvordan de indfrier løftet. Et værktøj, der sender feedback direkte til eleven, og et, der lægger et udkast til læreren, kan se ens ud i en demo, men de hviler på to forskellige ideer om, hvem der vurderer.

Det betyder noget, fordi feedback ikke virker af sig selv. Kluger og DeNisis gennemgang af 607 målinger fandt, at over en tredjedel af den undersøgte feedback forringede præstationen. Et værktøj, der producerer mere feedback, er derfor ikke nødvendigvis et værktøj, der giver bedre feedback.

Ni kriterier til at sammenligne feedbackværktøjer

Tabellen kan bruges på ethvert værktøj. Den sidste kolonne viser, hvordan vi selv har svaret, så I har et eksempel på et konkret svar at holde de andre op imod.

Ni spørgsmål til leverandøren af et feedbackværktøj
KriteriumDet skal I spørge omSådan gør Censai
Lærerens kontrolSer eleven noget, før læreren har godkendt det?Nej. Læreren justerer og godkender, før eleven ser feedbacken.
KarakterforslagForeslår værktøjet en karakter?Nej. Læreren giver selv en karakter, hvis der skal gives en.
Faglig forankringHvad bygger feedbacken på, og kan skolen selv vælge kriterier?Fælles Mål og Undervisningsministeriets vejledninger, plus de kriterier og kompetenceområder, skolen vælger.
Tekstnære eksemplerPeger hvert punkt på et konkret sted i elevens tekst?Ja. Hver styrke og forbedring har eksempler fra elevens egen tekst.
Næste skridtFår eleven noget konkret at gøre i den næste opgave?Ja. Hver forbedringsmulighed har et næste skridt.
OverblikKan læreren og ledelsen se mønstre på tværs af elever og klasser?Ja. Statistikken viser styrker og forbedringsmuligheder for den enkelte elev og for hele klassen.
DatalagringHvor ligger data, og hvor sker behandlingen?Databasen ligger hos Supabase i Sverige, og AI-behandlingen sker i EU.
DatabehandleraftalerEr der aftaler med alle underleverandører, og bruges data til træning?Aftaler med Microsoft og Supabase. Data bruges ikke til at træne modeller.
OpstartHvad kræver det at komme i gang, og kan I prøve først?Typisk en uge eller mindre, og en gratis pilottest i 14 dage.

Hvorfor er lærerens godkendelse det vigtigste kriterium?

Fordi det afgør, om værktøjet hjælper læreren eller erstatter en del af lærerens arbejde. Når læreren godkender alt, før eleven ser det, kan læreren fange fejl, tilføje det, værktøjet ikke kan vide noget om, og fjerne det, der ikke passer til eleven.

Det har også en juridisk side. AI-forordningen regner systemer, der evaluerer læringsudbytte, som højrisiko, og databeskyttelsesreglerne sætter grænser for afgørelser, hvor ingen fysisk person er involveret. Vi har skrevet mere om det i indlægget om AI og karakterer.

Hvordan ser man, om feedbacken er generisk?

Et studie af et avanceret GPT-4-baseret feedbacksystem fandt, at over halvdelen af feedbacken manglede konkrete eksempler og blev generisk, fordi den genbrugte formuleringer fra rubrikkens beskrivelser i stedet for at forholde sig til den konkrete tekst.

Den nemmeste test er at bede om en demo på en rigtig elevopgave fra jeres egen skole, anonymiseret. Læs feedbacken og spørg: Kunne den her kommentar stå på en hvilken som helst anden opgave? Hvis ja, er den for generisk til at flytte eleven.

Tre tegn på feedback, eleven kan bruge

  • Den peger på et bestemt sted i teksten.
  • Den forklarer, hvorfor det virker, eller hvad der mangler.
  • Den giver et næste skridt, eleven kan tage med til næste opgave.

Hvad skal overblikket kunne?

Feedback på én opgave hjælper én elev. Mønstre på tværs af opgaver hjælper læreren med at planlægge undervisningen. Spørg derfor, om værktøjet kan vise, hvilke forbedringsmuligheder der går igen, både for den enkelte elev og for hele klassen.

Hvis ti elever i samme klasse har brug for at arbejde med tekstsammenhæng, er det et emne til næste uges undervisning og ikke ti enkeltkommentarer. Den slags overblik gør det muligt at tilrettelægge undervisningen ud fra det, eleverne faktisk har brug for.

Når I har valgt

Før værktøjet tages i brug, skal skolen have styr på det juridiske: databehandleraftale, konsekvensanalyse og retningslinjer. Vi har samlet trinene og tolv spørgsmål til leverandøren i guiden til lovligheden af AI-værktøjer.

Vil I se, hvordan Censai svarer i praksis, kan I kontakte os og få en gratis pilottest i 14 dage.

Kilder

Ofte stillede spørgsmål

  • At læreren godkender feedbacken, før eleven ser den. Det afgør, om værktøjet hjælper læreren eller overtager en del af vurderingen. Derefter kommer den faglige forankring, om feedbacken peger på konkrete steder i elevens tekst, og hvor data ligger.

  • Vi mener nej. Et karakterforslag flytter en del af vurderingen over på systemet, og forskningen peger på, at karakterer ved siden af kommentarer svækker kommentarernes effekt. Karakteren bør være lærerens egen vurdering.

  • Bed om en demo på en rigtig, anonymiseret elevopgave fra jeres egen skole, og læs feedbacken kritisk: Peger den på konkrete steder i teksten, og giver den et næste skridt? Bed også om en pilotperiode, så lærerne kan prøve værktøjet på deres egne opgaver.

  • Hvor data opbevares og behandles, om der er databehandleraftaler med alle underleverandører, om elevernes tekster bruges til at træne modeller, og om eleverne kan optræde uden navn. Svarene skal I have skriftligt.

Skal vi se på, hvordan det ser ud hos jer?

Skoler, der er i tvivl, om Censai passer til dem, kan få en gratis pilottest i 14 dage, og vi kommer ud og sætter det hele op. Et kort møde er nok til at finde ud af, om det giver mening.

Læs også

AI i skolen

AI-feedback i folkeskolen: hvad må det, og hvad skal det ikke?

Nogle ser AI som fremtiden, andre som en trussel mod lærerens skøn og relationen til eleven. Begge sider har fat i noget. Her er, hvor grænsen går, og hvordan den kan trækkes i praksis.

7 min. læsning

Læs indlægget