Eksamens U-sving: bak algoritmen som utløste karakterkaos på A-nivå
'Seeds of the policy disaster' sådd i brev sendt av Gavin Williamson da nedstengning ble kunngjort i mars
'Seeds of the policy disaster' sådd i brev sendt av Gavin Williamson da nedstengning ble kunngjort i mars
Chris J Ratcliffe/Getty Images
Da sinne brøt ut etter utgivelsen av karakterer på A-nivå forrige uke, insisterte statsminister Boris Johnson på at resultatene var robuste, gode og pålitelige for arbeidsgivere.
Men bare dager senere, etter Ofquals plutselige tilbaketrekking av kriteriene for å appellere karakterer, ble regjeringen tvunget til en pinlig helomvending, med resultater som nå skulle være basert på lærernes spådommer i stedet for en kontroversiell algoritme.
Det automatiserte systemet ble brukt i et forsøk på å unngå det utdanningssekretær Gavin Williamson beskrev som voldsom karakterinflasjon på bakgrunn av koronaviruspandemien og avlyste eksamener. Men hvem kom opp med algoritmen, som kan ende opp med å koste Williamson kabinettjobben hans?
Enestående omstendigheter
Frøene til den politiske katastrofen ble sådd den dagen nedstengningen trådte i kraft, da Williamson advarte i et brev til Ofqual om at det å unngå karakterinflasjon var en prioritet, Tidene rapporter.
Ofqual bør sikre, så langt det er mulig, at kvalifikasjonsstandarder opprettholdes og fordelingen av karakterer følger en lignende profil som tidligere år, sa Williamson til eksamensregulatoren.
Med andre ord, sier avisen, til tross for at elevene ikke ville gå opp til eksamen, ønsket regjeringen å behandle klassen i 2020 som tidligere år. A-nivåer ble behandlet som «gullstandarden» for utdanningssystemet og skulle ikke devalueres.
Men ved å gi eksamensregulatoren i oppdrag å tegne en forsikring i form av sin skjebnesvangre algoritme, gikk dette ønsket om å begrense karakterinflasjonen for langt, legger til BBC .
Hva gikk galt?
På forespørsel fra utdanningssekretæren satte regulatorens statistikere i gangutarbeide et system for å dele ut karakterersom ikke tillot eksamensresultatene å gå opp fra tidligere år, forklarer Jo-Anne Baird, professor i pedagogisk vurdering ved Oxford University og medlem av Ofquals rådgivende komité.
Problemet var at i tilfellet med klassen Covid, kom opptattheten av å opprettholde standarder til en for høy pris, ifølge BBC.
Totalt 39 % av resultatene på A-nivå som ble offentliggjort forrige torsdag, ble nedgradert , og elever i vanskeligstilte områder ble uforholdsmessig hardest rammet, sier NS Tech , en avdeling av New Statesman.
Algoritmen spådde karakterer etter å ha blitt matet med forskjellige databiter.
Den første var lærerens anslåtte karakter for hver elev basert på deres prestasjoner i klassen og de falske eksamenene, forklarer nyhetssiden. Men dette ble ansett som utilstrekkelig i seg selv, så lærerne ble også bedt om å rangere hver elev fra høyest til lavest i forhold til forventet karakter.
Skoler kastet seg over vurderingsoppgaven, legger The Times til, med avdelingsledere som leder møter der lærere argumenterte saken for elevene sine.
Men, sier avisen, det var en hake i Ofqual-systemet. EN rapportere utgitt av regulatoren forrige uke avslørte at lærertildelte karakterer kun ble prioritert i klasser med mindre enn 15 elever - et system som favoriserte private skoler med mindre klassestørrelser.
Derimot, for elever på større skoler, var karakterene langt mer påvirket av skolens historiske prestasjoner og lærerens rangering enn deres anslåtte karakterer, legger NS Tech til.
Dette avviket står for det uforholdsmessige antallet studenter fra skoler som vanligvis ikke sender elever til Storbritannias toppuniversiteter som så de anslåtte karakterene deres aggressivt nedgradert.
Var et mer rettferdig system mulig?
I følge Tidene ' vitenskapsredaktør Tom Whipple, å lage en rettferdig algoritme er som å prøve å koke opp et egg - det vil si umulig.
Problemet, skriver Whipple, er at når folk ekstrapolerer fra befolkningsdata for å lage spådommer om individer... kan du ende opp med å gjøre alle slags kontraintuitive, overraskende og noen ganger absurde feil.
Dette er hva som gikk galt med en algoritme basert så sterkt på en skoles historiske resultater, hevder han. Det er klart at dette vil være urettferdig for eksepsjonelle barn i uvanlige skoler, mens det omvendt vil være altfor snill mot uneksepsjonelle barn på ekstraordinære skoler.
Sam Freedman, administrerende direktør i den ikke-statlige organisasjonen Education Partnerships Group, er enig i denne dommen. Algoritmen kom uunngåelig til å treffe ekstreme elever som var på toppen av fordelingen på skoler som ikke har hatt mange gode prester tidligere, han tweeter .
Men, legger Freedman til, regjeringens beslutning om å bare bruke lærers anslåtte karakterer er også urettferdig mot elever ved skoler som karakterer forsiktig, urettferdig mot tidligere/fremtidige årskull og oppretter et lotteri for universitetsplasser.
Og U-svingen kan komme for sent for noen studenter, og mange universiteter sier at kursene for neste studieår allerede er fulle.
Når det gjelder algoritmen, er statistikk per definisjon en måte å representere mange tall i færre tall på, sier Whipple.
Dette er enormt nyttig, men vi må vite hva det betyr: å glemme individet.
