トピック 48 / 64· デジタル政府における公共価値

政府におけるAIの価値

政府におけるAIの価値とは、公共サービスで使われるAIシステムが、他のあらゆる支出決定と同じバリュー・フォー・マネーと公共価値のハードルをクリアしなければならないという要件である——目新しいからといって低いハードルではなく、恐れられているからといって高いハードルでもない。これは、AI機能が提供される前に、後ではなく、提供チームが答えられなければならない問いである——保証、監督、リスクが正直に価格付けされたとき、これはコストよりも多くの価値を生み出すのか。

重要な理由

英国のCentral Digital and Data Office(CDDO)は、2023年6月の以前の暫定ガイダンスを土台に、2024年に政府向け生成AIフレームワークを公表した。それは、生成AIとは何か、その倫理的含意、ツールのセキュリティ、品質保証管理、生成AIのライフサイクル全体の管理、正当なユースケースの特定、政府横断的な協働、透明性、スキル、ガバナンスをカバーする10の原則を中心に構成されている。このフレームワークが「意味のある人間の制御」とライフサイクル全体の管理を強く求めるのは、AIプロジェクトのビジネスケースが他のIT支出にはない特有の失敗モードを持つからである——パイロットの見出しとなる生産性の数字は生み出しやすく、過大に述べられやすい。なぜなら、それは、そのツールが生み出す検証・修正・監督の負担が考慮される前に測定されるからである。このフレームワークと並んで、Algorithmic Transparency Recording Standard(ATRS)は、個人についての意思決定に重大な影響を与えるアルゴリズムツールについて、公的機関が標準化された記録——目的、使用されたデータ、性能、公平性テスト、人間の監督体制——を公表することを求めており、これはAIシステムの保証コストを、チームが静かにスキップできる内部の見積もりではなく、公的な記録の対象にする。

計算式

AIの採用は、標準のバリュー・フォー・マネー評価に対する置き換えではなく追加として評価され、AI固有の項は単一の「生産性向上」の数字に折り込まれるのではなく明示される。

AIシステムの純価値 =
    生産性向上(節約された時間 × 人件費を含むスタッフコスト)
  − ライセンス/計算コスト
  − 人間による検証・監督コスト(それに基づいて行動する前にAIの
    出力を確認すること——これは成熟したツールであってもゼロには
    縮小しない)
  − ATRSの文書化と継続的なモニタリングのコスト
  − 誰がその害を負うかによって重み付けされた、エラー、バイアス、
    ハルシネーションによる害のリスク調整後コスト(distributional-
    weightingを参照)

監督の項を省略したパイロットの生産性の数字は、すでに同等の
人間によるレビューを含む通常業務のコストベースラインとは比較
できない——この分野がより広い生産性測定の規律を借りている先に
ついてはai-productivity-in-the-public-sectorを参照。

計算例

日常的な住民税の問い合わせへの最初の回答を作成するために生成AIツールを使用する地方自治体:年間25,000件の問い合わせ、以前はケースワーカーが完全に処理し、問い合わせあたり平均14分、人件費を含むスタッフコスト£34/時間。

ベースライン(AIなし)コスト:
  25,000 × (14/60) × £34 = £198,333/年

パイロットの見出しの主張:AIが90秒で回答を作成し、
ケースワーカーは「レビューして送るだけ」——主張された新しい
時間は3分
  25,000 × (3/60) × £34 = £42,500/年
  → 主張された節約 £155,833/年(変革的に見える)

パイロットの選び抜かれたテストケースではなく、本番稼働3か月後に
測定された完全に負荷を含んだ数字:
  回答あたりの実際のレビュー+修正時間:6分(複雑あるいは感情的に
  デリケートな問い合わせでは、ドラフトに実質的な編集が必要)
  25,000 × (6/60) × £34 = £85,000/年
  ライセンス/計算コスト:£38,000/年
  ATRSの文書化と四半期ごとのバイアス/品質モニタリング:£14,000/年
  総コスト = 85,000 + 38,000 + 14,000 = £137,000/年

実際の節約 = 198,333 − 137,000 = £61,333/年——本物であり保持する
価値があるが、パイロットの見出しの主張の半分にもはるかに満たない。
そしてそれを見つけるには、パイロットの最良ケースの数字ではなく、
正直な監督時間の測定が必要だった。

ソフトウェア開発との関連

これが公共セクターにおけるAI生産性とこのトピックが交わる場所である——公共サービスにAI機能を組み込むエンジニアリングチームは、パイロットのデモ条件を信頼するのではなく、この計算例における「実際の」数字を可能にする計装——実際のレビュー時間、ドラフトと送信された回答の間の編集距離、エスカレーション率を記録すること——を所有する。AI機能はデジタルサービス標準の第9項目(安全なサービス、利用者のプライバシー)に照らして評価されるべきであり、そのツールが市民のデータに触れる場合は公共セクターのサイバーセキュリティの価値と相互参照されるべきであり、個人についての意思決定に重大な影響を与えるあらゆるAIシステムは、サービスが稼働する前に合格したデジタルサービス標準の評価を必要とするのとまったく同じ方法で、評価可能な状態と見なされる前にATRSの記録を必要とする。

落とし穴

  • AIウォッシング:AIの採用のために確保された資金あるいは注目にアクセスするために、既存のルールベースの自動化を、フレームワークの追加の精査を実際に正当化する精度やバイアスのリスクを伴わずに「AI」と再ラベルづけすること。
  • 本番の生産性ではなくパイロットの生産性を測定すること:パイロットは、熱心で注意深いレビュー担当者による厳選されたテストケースで実行される。本番は、時間の経過とともに自動化バイアスを発達させ出力を十分に確認しないレビュー担当者による、あらゆる雑然としたケースの組み合わせで実行される——どちらも正直な監督コストの数字を歪める。
  • ツールが「本当は自動化された意思決定ではない」という理由でATRS登録をスキップすること:この標準の閾値は個人についての意思決定への重大な影響であり、たとえ人間が技術的に承認していても、ほとんどの市民向けAIドラフト作成あるいはトリアージツールはこれに該当する。
  • エラーの分配的影響を無視すること:すべての利用者にわたって平均化されたAIシステムのエラー率は、特定のグループについてのはるかに高いエラー率あるいはバイアス率を隠しうる。分配的重みづけは、集計された精度の数字だけでなく、リスク調整後の害の項にも適用されるべきである。

出典