Temat 64 z 64· Inżynieria oprogramowania i dostarczanie cyfrowe

Produktywność AI w sektorze publicznym

Metryki tego, co pomoc AI w kodowaniu faktycznie robi z wynikami inżynierii — wskaźniki akceptacji sugestii, przyspieszenia z kontrolowanych badań, przepustowość PR i utrzymanie kodu — niosą naprawdę sprzeczną bazę dowodową, zanim jeszcze dodać ograniczenia sektora publicznego: klasyfikacja danych ogranicza, których części starszego zasobu narzędzie AI w ogóle może dotykać, cykle zamówień oznaczają, że oceniane narzędzie często jest o generację modelu za obecnymi możliwościami, a wymogi poświadczeń bezpieczeństwa regulują, kto może go do czego używać.

Dlaczego to ważne

Dwa najczęściej cytowane kontrolowane badania wskazują w przeciwnych kierunkach. RCT GitHub Copilot Penga i współpracowników z 2023 roku stwierdziło, że programiści ukończyli zadanie serwera HTTP od zera o 55,8% szybciej z Copilotem (1g11m wobec 2g41m, n=95). RCT METR z 2025 roku stwierdziło, że doświadczeni programiści open source pracujący nad własnymi dojrzałymi repozytoriami byli o 19% wolniejsi z narzędziami AI z początku 2025 roku, wierząc, że są o około 20% szybsi. Oba badania są solidne; sprzeczność jest ustaleniem — skuteczność zadań od zera nie przenosi się na skuteczność w dojrzałym kodzie, a duża część inżynierii rządowej to praca na dojrzałym kodzie w zasobach starszych i bardziej specyficznych niż mediana komercyjnego repozytorium. Generative AI Framework for HMG Central Digital and Data Office (2024, https://www.gov.uk/government/publications/generative-ai-framework-for-hmg) określa zasady odpowiedzialnego wdrażania właśnie dlatego, że tej bazy dowodowej nie da się po prostu zaimportować z demonstracji dostawców; od resortów oczekuje się oceny narzędzi względem ich własnych wymagań dotyczących przetwarzania danych i bezpieczeństwa przed wdrożeniem.

Matematyka

Wskaźnik akceptacji    = zaakceptowane sugestie / pokazane sugestie
Wskaźnik utrzymania    = kod AI dożywający do scalenia / zaakceptowany kod AI
Przyspieszenie         = (t_kontrola − t_AI) / t_kontrola  (WYŁĄCZNIE z kontrolowanego porównania)
Różnica przepustowości = Δ scalone PR/programista/tydzień

Czynnik pokrycia w sektorze publicznym:
  uprawniony udział kodu = LOC w systemach, w których klasyfikacja
    (OFFICIAL, OFFICIAL-SENSITIVE, SECRET) w ogóle dopuszcza narzędzie

Model wartości = programiści × uprawnione-pokrycie × zaoszczędzony czas × pełna stawka × wykorzystanie
                — każdy człon wymaga lokalnego pomiaru, a czynnik pokrycia
                nie ma odpowiednika w sektorze prywatnym

Przykład obliczeniowy

Resort rządowy pilotuje asystenta kodowania AI wśród 300 programistów, ale do użycia narzędzia uprawnione są tylko systemy sklasyfikowane jako OFFICIAL — 70% zasobu według przydziału etatów, a pozostałe 30% (systemy wyższej klasyfikacji) jest wyłączone całkowicie.

Uprawnieni programiści = 300 × 0,70 = 210

Wynik pilotażu: samoopisowy zaoszczędzony czas 40 min/dzień;
                zmierzona oszczędność na poziomie zadania 12 min/dzień (0,2 godz.)
                — luka percepcji METR, odtworzona w terenie

Wyceń ZMIERZONĄ liczbę:
  210 × 0,2 godz. × 220 dni × 55 £/godz. pełnej stawki × 0,6 wykorzystania
  = 210 × 44 godz. × 55 £ × 0,6
  = 9240 godz. × 55 £ × 0,6 ≈ 304 920 £/rok zdolności

Koszt: 210 licencjonowanych miejsc × 22 £/miesiąc × 12 ≈ 55 440 £/rok

Wskaźnik netto zdolności ≈ 304 920 / 55 440 ≈ 5,5:1

Do sfinansowania przy mniej więcej jednej trzeciej samoopisowej korzyści i tylko po zastosowaniu pułapu klasyfikacji — licencjonowanie wszystkich 300 programistów na podstawie samoopisowej liczby przeceniłoby zarówno uprawnioną populację, jak i prawdziwą oszczędność.

Związek z inżynierią oprogramowania

Dyscypliny przenoszące się wprost: prowadź pragmatyczne próby na własnym kodzie resortu i prawdziwych zgłoszeniach, a nie na zadaniach demonstracyjnych dostawców, bo wynik METR jest konkretnie ustaleniem dla dojrzałego kodu; traktuj wskaźnik akceptacji jako zastępnik, a nie rezultat — wysoka akceptacja z niskim utrzymaniem to programowy odpowiednik nadmiernej diagnostyki; paruj każde twierdzenie o przepustowości z kontrolą stabilności, ponieważ raport DORA z 2025 roku stwierdził, że przyjęcie AI podnosi przepustowość, ale pogarsza stabilność zmian, co jest dokładnie analizą korzyści netto, którą metryki DORA dla wartości publicznej są zbudowane przeprowadzać; i bądź szczery, że narzędzia AI mogą poszerzać, a nie zwężać lukę w starszych zasobach obciążonych długiem technicznym, ponieważ dane treningowe niedostatecznie reprezentują kod COBOL, 4GL i mainframe na zamówienie powszechny w administracji, więc jakość sugestii w dokładnie tych systemach, które najbardziej potrzebują pomocy, jest często najsłabsza. To sąsiaduje z szerszym pytaniem o wartość AI w administracji i powinno podlegać tym samym ograniczeniom wartości cyberbezpieczeństwa sektora publicznego, które ograniczają, gdzie jakiekolwiek narzędzie strony trzeciej może w ogóle widzieć kod lub dane.

Pułapki

  • Przeszczepianie badań dostawców: stosowanie przyspieszeń z RCT od zera do pracy nad integracją starszych systemów to dokładnie błąd, który ujawniło badanie METR.
  • Samoopis jako pomiar: 20-punktowa luka percepcji i zmierzenia to największe znane skrzywienie w tej literaturze i zawyża uzasadnienia biznesowe oparte wyłącznie na ankietach programistów.
  • Ignorowanie pułapu klasyfikacji: modele licencji i wartości zbudowane na całkowitej liczbie etatów, a nie na uprawnionym, dopuszczonym klasyfikacją podzbiorze, systematycznie przeceniają zarówno efektywność kosztową, jak i osiągalne pokrycie.
  • Opóźnienie cyklu zamówień: zakupy narzędzi w ramach umów ramowych mogą oznaczać, że pilotaż ocenia generację modelu o 12–18 miesięcy za tym, co jest publicznie dostępne w momencie pełnego wdrożenia, czyniąc założenie przyspieszenia pierwotnego uzasadnienia biznesowego nieaktualnym przed uruchomieniem.

Źródła