トピック 64 / 64· ソフトウェア開発とデジタル提供の関連
公共セクターにおけるAI生産性
AIコーディング支援がエンジニアリングのアウトプットに実際に何をもたらすかについての指標——提案の採用率、対照実験によるスピードアップ、PRのスループット、コードの定着率——は、公共セクター固有の制約が加わる前から、本当に矛盾したエビデンス基盤を抱えている。データ分類は、レガシー資産のどの部分にAIツールがそもそも触れられるかを制限し、調達サイクルは評価対象のツールがしばしば現在の能力よりも1世代前のモデルであることを意味し、セキュリティクリアランス要件は誰が何にそれを使えるかを規律する。
重要な理由
最も引用される二つの対照実験は正反対の方向を指している。Pengらの2023年のGitHub CopilotのRCTは、開発者がグリーンフィールドのHTTPサーバータスクをCopilotで55.8%速く完了したことを発見した(1時間11分対2時間41分、n=95)。METRの2025年のRCTは、自らの成熟したリポジトリで作業する経験豊富なオープンソース開発者が、2025年初頭のAIツールで19%遅くなったことを発見した。それでいて彼らは自分がおよそ20%速いと信じていた。どちらの研究も健全である——矛盾こそが発見である。グリーンフィールドタスクにおける有効性は、成熟したコードベースにおける有効性へは移転しない。そして政府のエンジニアリングの多くは、中央値の商用リポジトリよりも古く独特な資産における成熟したコードベースの作業である。Central Digital and Data OfficeのGenerative AI Framework for HMG(2024年、https://www.gov.uk/government/publications/generative-ai-framework-for-hmg)は、責任ある採用のための原則を定めている。まさに、このエビデンス基盤がベンダーのデモンストレーションから単純に輸入できないからである。各省庁は、展開前に自らのデータ取り扱いとセキュリティ要件に照らしてツールを評価することが期待されている。
計算式
採用率 = 受け入れられた提案 / 表示された提案
定着率 = マージまで生き残ったAIコード / 受け入れられた
AIコード
スピードアップ = (t_控制群 − t_AI) / t_控制群
(対照比較からのみ)
スループット差分 = Δマージされたpr/開発者/週
公共セクターの適用範囲係数:
対象コードベースの割合 = 分類(OFFICIAL、OFFICIAL-SENSITIVE、
SECRET)がそもそもそのツールを許可するシステム上のコード行数
価値モデル = 開発者数 × 対象範囲 × 節約された時間 × 負荷率 ×
稼働率
— すべての項がローカルでの測定を必要とし、適用範囲
係数には民間セクターに相当するものがない
計算例
ある省庁が300人の開発者にわたってAIコーディングアシスタントをパイロット導入するが、OFFICIALに分類されたシステムだけがツール使用の対象となる——頭数配分でその資産の70%であり、残りの30%(より高い分類のシステム)は完全に除外される。
対象開発者数 = 300 × 0.70 = 210
パイロット結果:自己申告の節約時間は40分/日;
測定されたタスクレベルの節約は12分/日(0.2時間)
——METRの知覚ギャップが実世界で再現された
測定された数字を評価する:
210 × 0.2時間 × 220日 × £55/時間(負荷率込み) × 0.6稼働率
= 210 × 44時間 × £55 × 0.6
= 9,240時間 × £55 × 0.6 ≈ £304,920/年の容量
コスト:ライセンス済み210シート × £22/月 × 12 ≈ £55,440/年
純容量比率 ≈ 304,920 / 55,440 ≈ 5.5:1
自己申告された便益のおよそ3分の1で資金調達可能であり、それも分類の上限が適用された後でのみである——自己申告の数字の強さに基づいて全300人の開発者にライセンスを与えていたら、対象人口と真の節約の両方を過大に見積もっていたであろう。
ソフトウェア開発との関連
直接的に応用できる規律がある。ベンダーのデモンストレーションタスクではなく、省庁自身のコードベースと実際のチケットで実用的な試験を実行すること。なぜなら、METRの結果はまさに成熟したコードベースについての発見だからである。採用率を成果ではなく代理指標として扱うこと——低い定着率を伴う高い採用率は、過剰診断のソフトウェア版である。すべてのスループットの主張を安定性チェックとペアにすること——DORAの2025年報告書は、AIの採用がスループットを引き上げる一方で変更の安定性を悪化させることを発見しており、これはまさに公共価値のためのDORA指標が実行するよう構築されている純便益分析である。そして、AIツールが技術的負債の多いレガシー資産におけるギャップを狭めるのではなく広げうることを正直に認めること。なぜなら、訓練データは政府に一般的なCOBOL、第4世代言語、あつらえのメインフレームコードを過小に代表しており、まさに最も助けを必要とするシステムにおいて提案の品質がしばしば最も弱いからである。これは、より広い政府におけるAIの価値の問いと並んでおり、サードパーティのツールがそもそもどこでコードやデータを見ることができるかを制限する、同じ公共セクターのサイバーセキュリティの価値の制約によって規律されるべきである。
落とし穴
- ベンダー研究の移植:グリーンフィールドのRCTのスピードアップをレガシー統合の作業に適用することは、まさにMETRの研究が明らかにした誤りである。
- 測定としての自己申告:20パーセントポイントの知覚対測定のギャップは、この文献における最大の既知のバイアスであり、開発者調査だけに頼るビジネスケースを膨らませる。
- 分類の上限を無視すること:対象となる分類済みの部分集合ではなく総頭数に基づいて構築されたライセンスと価値モデルは、費用対効果と達成可能な適用範囲の両方を体系的に過大に見積もる。
- 調達サイクルの遅れ:フレームワークベースのツール調達は、完全な展開時点までに、パイロットが評価するモデルが公に入手可能なものより12〜18か月遅れた世代であることを意味しうる。これは、稼働開始前に元のビジネスケースのスピードアップの前提を陳腐化させる。
出典
- Peng S, et al., "The Impact of AI on Developer Productivity: Evidence from GitHub Copilot", 2023. https://arxiv.org/abs/2302.06590
- METR, "Measuring the Impact of Early-2025 AI on Experienced Open-Source Developer Productivity", 2025. https://metr.org/blog/2025-07-10-early-2025-ai-experienced-os-dev-study/
- DORA, 2025 State of AI-assisted Software Development report. https://dora.dev/dora-report-2025/
- Central Digital and Data Office, Generative AI Framework for HMG, 2024. https://www.gov.uk/government/publications/generative-ai-framework-for-hmg