Emne 64 av 64· Sammenheng med programvareutvikling og digital leveranse

KI og produktivitet i offentlig sektor

Målinger av hva KI-støtte i koding faktisk gjør med utviklingsarbeidet – andel aksepterte forslag, hastighetsgevinster i kontrollerte studier, gjennomstrømning av pull requests og hvor mye av koden som består – hviler på et reelt motstridende kunnskapsgrunnlag selv før offentlige begrensninger legges til: dataklassifisering avgjør hvilke deler av en eldre systemportefølje et KI-verktøy i det hele tatt kan røre, innkjøpssykluser gjør at verktøyet som evalueres ofte ligger en modellgenerasjon bak dagens muligheter, og krav til sikkerhetsklarering styrer hvem som kan bruke det til hva.

Hvorfor det er viktig

De to mest siterte kontrollerte studiene peker i motsatt retning. Peng m.fl. sin randomiserte kontrollerte studie (RCT) av GitHub Copilot fra 2023 fant at utviklere fullførte en oppgave med å lage en HTTP-tjener fra bunnen av 55,8 % raskere med Copilot (1 t 11 min mot 2 t 41 min, n=95). METRs RCT fra 2025 fant at erfarne utviklere av åpen kildekode, som arbeidet på sine egne modne kodebaser, var 19 % tregere med KI-verktøy fra tidlig 2025, mens de trodde de var omtrent 20 % raskere. Begge studiene er solide, og selve motsigelsen er funnet: effekten på nyutviklingsoppgaver overføres ikke til effekt i modne kodebaser, og mye av offentlig utviklingsarbeid er arbeid i modne kodebaser, med systemer som er eldre og mer særegne enn det typiske kommersielle kodelageret. Central Digital and Data Offices Generative AI Framework for HMG (2024, https://www.gov.uk/government/publications/generative-ai-framework-for-hmg) setter opp prinsipper for ansvarlig innføring nettopp fordi dette kunnskapsgrunnlaget ikke kan importeres direkte fra leverandørenes demonstrasjoner. Departementene forventes å evaluere verktøy mot egne krav til databehandling og sikkerhet før utrulling.

Regnestykket

Akseptrate       = aksepterte forslag / viste forslag
Beholdningsrate  = KI-kode som overlever til sammenslåing / akseptert KI-kode
Hastighetsgevinst = (t_kontroll − t_KI) / t_kontroll  (KUN fra kontrollert sammenligning)
Gjennomstrømningsendring = Δ sammenslåtte PR-er/utvikler/uke

Dekningsfaktor i offentlig sektor:
  kvalifisert andel av kodebasen = kodelinjer i systemer der klassifiseringen
    (OFFICIAL, OFFICIAL-SENSITIVE, SECRET) i det hele tatt tillater verktøyet

Verdimodell = utviklere × kvalifisert dekning × spart tid × fullt belastet sats × utnyttelsesgrad
             – hvert ledd må måles lokalt, og dekningsfaktoren
             har ingen motstykke i privat sektor

Utregnet eksempel

Et departement piloterer en KI-kodeassistent for 300 utviklere, men bare systemer klassifisert som OFFICIAL kan bruke verktøyet – 70 % av porteføljen etter fordeling av utviklere, mens de resterende 30 % (systemer med høyere klassifisering) er helt utelatt.

Kvalifiserte utviklere = 300 × 0,70 = 210

Pilotresultat: selvrapportert spart tid 40 min/dag;
               målt besparelse på oppgavenivå 12 min/dag (0,2 t)
               – METR-gapet mellom oppfatning og måling, gjentatt i praksis

Verdsett det MÅLTE tallet:
  210 × 0,2 t × 220 dager × £55/t fullt belastet × 0,6 utnyttelsesgrad
  = 210 × 44 timer × £55 × 0,6
  = 9 240 timer × £55 × 0,6 ≈ £304 920 per år i kapasitet

Kostnad: 210 lisensierte plasser × £22/måned × 12 ≈ £55 440 per år

Netto kapasitetsforhold ≈ 304 920 / 55 440 ≈ 5,5:1

Dette kan finansieres ved omtrent en tredjedel av den selvrapporterte gevinsten, og først etter at klassifiseringstaket er brukt. Å lisensiere alle 300 utviklere på grunnlag av det selvrapporterte tallet ville ha overdrevet både den kvalifiserte populasjonen og den reelle besparelsen.

Sammenheng med programvareutvikling

Disiplinene som overføres direkte: Kjør pragmatiske forsøk på departementets egen kodebase og virkelige oppgaver, ikke på leverandørenes demonstrasjonsoppgaver, fordi METR-resultatet nettopp er et funn fra modne kodebaser. Behandle akseptrate som en indikator, ikke et utfall – høy aksept med lav beholdning er programvarens tilsvarighet til overdiagnostisering. Par hver påstand om gjennomstrømning med en stabilitetskontroll, siden DORAs rapport fra 2025 fant at KI-bruk øker gjennomstrømningen, men svekker stabiliteten i endringer, noe som er nøyaktig den nettogevinstanalysen DORA-målinger for offentlig verdi er laget for å gjøre. Og vær ærlig på at KI-verktøy kan øke, ikke redusere, gapet i eldre systemporteføljer tynget av teknisk gjeld, fordi treningsdata underrepresenterer COBOL, 4GL og skreddersydd stormaskinkode som er vanlig i forvaltningen, slik at forslagenes kvalitet ofte er svakest nettopp på systemene som trenger mest hjelp. Dette hører sammen med det bredere spørsmålet om verdien av KI i offentlig forvaltning og bør styres av de samme begrensningene for verdien av cybersikkerhet i offentlig sektor, som setter grenser for hvor tredjepartsverktøy i det hele tatt kan se kode eller data.

Fallgruver

  • Overføring av leverandørstudier: Å bruke hastighetsgevinster fra RCT-er på nyutvikling i arbeid med integrasjon mot eldre systemer er nettopp feilen METR-studien avslørte.
  • Selvrapportering som måling: Et gap på 20 prosentpoeng mellom oppfatning og måling er den største kjente skjevheten i denne litteraturen, og den blåser opp forretningscase som bare bygger på utviklerundersøkelser.
  • Å overse klassifiseringstaket: Lisens- og verdimodeller bygget på totalt antall ansatte i stedet for den kvalifiserte, klassifiseringsgodkjente delmengden overdriver systematisk både kostnadseffektiviteten og den oppnåelige dekningen.
  • Etterslep i innkjøpssyklusen: Rammeavtalebasert innkjøp av verktøy kan føre til at en pilot evaluerer en modellgenerasjon som er 12–18 måneder bak det som er offentlig tilgjengelig når full utrulling skjer, slik at hastighetsantakelsen i den opprinnelige forretningscasen er utdatert før idriftsettelsen.

Kilder