第 8 个主题,共 64 个· 公共价值个基础

反事实分析

反事实(counterfactual)是对“无没某项干预个辰光会发生啥”个估计。无没伊,项目启动以后观察到个变化,搭勿搭仔也会发生个变化是分勿清爽个——无没反事实,就无没效应个证据,哪怕前后对比个数字看上去再有说服力。英国财政部个 Magenta Book 拿构建一个靠得牢个反事实当作影响评估核心个方法论任务,比任何别个单一设计选择更要紧。

为啥重要

“阿拉推出项目以后个一年里,犯罪下降仔 15%”勿是项目起作用个证据,除非侬晓得无没项目个辰光犯罪会哪能——犯罪可能因为无关个经济或者人口趋势,本来就会下降 20%,意味着相对于反事实,项目实际上让事体更糟,尽管原始数字改善仔。搿是公共部门搭社会领域影响声明里最常见个分析错误:拿前后对比当成因果关系个证据。Magenta Book 明确讲,影响评估个存在是为仔回答一个反事实问题——“搿项干预带来仔啥勿同?”——而回答伊要求估计、勿光是描述那个根本呒没发生个世界。

勿同个办法构建反事实,把握程度勿一样,政府评估指南也据此排序。随机对照试验(RCT),个人或者地区被随机分配接受或者勿接受干预,产生最强个反事实,因为随机化保证处理组搭对照组平均下来只勒是否接受干预上有区别。内阁办公室搭 What Works Network 自从 2012 年行为洞察团队(Behavioural Insights Team)个《Test, Learn, Adapt》报告以来,勒英国公共政策里一直推广 RCT,正是因为较弱个设计容易受混杂因素影响——观察到个差异可能反映个是啥人选择参加,勿是项目个效应。勒随机化勿现实或者勿合伦理个地方(比方有法定资格个项目,或者全人口个政策变更,经常是搿样),Magenta Book 列出一个明确个、较弱但是仍然有用个替代层级:配对对照组、双重差分设计、围绕资格门槛个断点回归,最后万勿得已才是简单个前后对比——明确标注是最弱个证据形式,容易拿项目个效应搭同一辰光改变个其他所有事体个效应混勒一道。

数学

适用于所有办法个反事实框架:

估计影响 = 结果(有干预)− 结果(反事实:无干预)

勿是:
估计影响 ≠ 结果(之后)− 结果(之前)   [拿辰光搭处理混淆勒一道]

双重差分(difference-in-differences)是政府评估里最常见个准实验设计之一,伊拿对照组自己个前后变化减掉,分离出处理效应:

DiD 估计 = [结果(处理组,之后) − 结果(处理组,之前)]
         − [结果(对照组,之后) − 结果(对照组,之前)]

搿样会去脱两组共同个任何趋势(比方影响每个人个全国经济变动),只留下可以归因于干预个差异变化。

实例演算

就业项目,前后对比(弱设计):一个求职支持计划报告讲参与者个就业率一年里从 40% 升到 55%——天真个结论是“因为项目 +15 个百分点”。

同一个项目,双重差分(更强个设计):从同一个本地劳动力市场抽出一组配对个、相似个非参与者作对照组,显示同一年里就业率从 38% 升到 47%(全国经济复苏勒进行)。

处理组变化: 55% − 40% = +15 个百分点
对照组变化: 47% − 38% = +9 个百分点

DiD 估计(真正个项目效应)= 15 − 9 = +6 个百分点

老实可以归因个效应是 6 个百分点,勿是 15——表面前后改善个一半以上,勿搭项目也会发生,是同一场经济复苏拉高对照组带来个。

断点回归,资格门槛:一个补助计划只对员工少于 50 人个企业开放。拿刚好勒门槛以下个企业(45–49 个员工,有资格)搭刚好勒门槛以上个企业(50–54 个员工,无资格)个成果做比较,提供一个靠得牢个反事实,因为一个随意行政分界线两边个企业,其他方面是相似个——决定资格个是门槛,勿是任何底层个企业特征。只勒门槛处观察到个、两组之间 £2,000 个平均成果差异,比简单比较所有有资格搭所有无资格个企业(伊拉规模上有系统性差别),可以大得多个把握归因于补助。

搭软件工程个关联

反事实思维应该影响政府搭社会领域软件个影响跟踪系统搭评估流水线怎么设计:

  • 从一开始就拿对照组捕获建进系统——记录啥人有资格但是呒没入组,或者一个配对个非参与者队列——勿要等到项目已经跑完、只有前后数据个辰光再补。
  • 随机化可行个地方(分阶段推出,一项数字服务先对部分用户开放),拿系统布设成拿随机分配保留成可查询字段;如果分配顺序勿记录,分阶段推出会意外毁脱自己个评估价值。
  • 搿是影响评估办法背后个基础方法,也是伊搭影响评估对过程评估个区别所在,后者问个是项目有无照原来计划交付,勿是伊有无造成效应。
  • 额外性搭死重搭转移搭归因根子上侪是反事实问题——死重就是“无没干预,搿个具体成果会哪能”,用勒调整层面,勿是完整个评估设计。

容易踏个坑

  • 拿前后对比当因果关系个证据。 搿是公共搭社会领域影响报告里最常见、后果最严重个错误;前后变化拿项目个效应搭同一辰光改变个其他每桩事体混勒一道。
  • 用搭处理组有系统性差别个对照组。 配对对照组必须勒相关特征上真正相似(参见 Magenta Book 里反事实分析办法层级);拿项目参与者(自己选择加入,经常更有动力)搭非参与者(勿参加)比较,有选择偏差冒充项目效应个风险。
  • 因为交付设计勿好,毁脱随机化个机会。 分阶段或者随机化推出,只有分配真正随机而且有记录,才保留伊个评估价值——让本地经理决定啥人先上,就违背目个。
  • 从弱设计里夸大精确度。 前后对比个估计应该作为指示性数字呈现,勿是作为测量出来个效应大小;Magenta Book 个证据层级就是为仔让声明个强度搭产生伊个设计个强度相匹配。

资料来源

  • HM Treasury, "The Magenta Book: Central Government Guidance on Evaluation" (2020), and its supplementary guide on quasi-experimental methods. https://www.gov.uk/government/publications/the-magenta-book
  • Cabinet Office / Behavioural Insights Team, "Test, Learn, Adapt: Developing Public Policy with Randomized Controlled Trials" (2012).
  • What Works Network, standards of evidence guidance. https://www.gov.uk/guidance/what-works-network
  • Angrist JD, Pischke J-S. Mostly Harmless Econometrics: An Empiricist's Companion. Princeton University Press, 2009 (standard reference for difference-in-differences and regression discontinuity methods).