第 8 个主题,共 64 个· 公共价值基础

反事实分析

反事实情形,是对若无该项干预本会发生的情况所做的估计。没有反事实情形,就无法将项目启动后观察到的变化与本来就会发生的变化区分开来——没有反事实,就没有效果的证据,无论前后对比的数字看起来多么令人信服。英国财政部《洋红皮书》将构建可信的反事实情形视为影响力评估的核心方法论任务,其重要性超过任何其他单一的设计选择。

为何重要

"引入该项目后一年内犯罪率下降了 15%",除非你知道若无该项目犯罪率本会如何变化,否则这并不能作为该项目奏效的证据——犯罪率也可能因为无关的经济或人口趋势而本来就会下降 20%,这意味着相对于反事实情形而言,该项目实际上使情况变得更糟,尽管原始数字有所改善。这是公共部门和社会部门影响力声明中最常见的分析错误:把前后对比误当作因果关系的证据。《洋红皮书》明确指出,影响力评估存在的目的正是回答一个反事实问题——"这项干预究竟带来了什么差异?"——而回答这个问题需要估计、而不仅仅是描述那个没有发生的世界。

不同方法构建反事实情形的置信程度各不相同,政府评估指南也据此对它们进行排序。随机对照试验(RCT)——将个人或地区随机分配为接受或不接受某项干预——能产出最有力的反事实情形,因为随机化确保处理组与对照组平均而言仅在是否接受干预这一点上存在差异。自 2012 年行为洞察团队(Behavioural Insights Team)发布《测试、学习、适应》("Test, Learn, Adapt")报告以来,内阁办公室和"什么有效"网络(What Works Network)一直在英国公共政策各领域推广 RCT,正是因为较弱的设计容易受到混杂因素的影响——观察到的差异可能反映的是谁选择了参与,而不是该项目的效果。当随机化不切实际或不符合伦理时(对于具有法定权利的项目、或涉及全体人群的政策变化,这种情况经常出现),《洋红皮书》列出了一个明确的、由弱到强的替代方案层级:匹配对照组、双重差分法设计、围绕资格门槛的断点回归,以及作为最后手段的简单前后对比——后者被明确标注为最弱的证据形式,容易将该项目的效果与同期发生的其他一切变化相混淆。

数学原理

适用于所有方法的反事实框架:

估计的影响 = 结果(有该干预) − 结果(反事实:无该干预)

而不是:
估计的影响 ≠ 结果(之后) − 结果(之前)   【将时间与处理效应相混淆】

双重差分法(difference-in-differences)是政府评估中最常见的准实验设计之一,它通过减去对照组自身的前后变化来分离出处理效应:

双重差分估计值 = [结果(处理组,之后) − 结果(处理组,之前)]
              − [结果(对照组,之后) − 结果(对照组,之前)]

这样可以剔除两组共有的任何趋势(例如影响所有人的全国性经济变化),只留下可归因于该项干预的差异性变化。

实例演算

就业项目,前后对比(较弱的设计):某就业支持计划报告称,参与者的就业率在一年内从 40% 上升到 55%——一个朴素的结论会认为"该项目带来了 +15 个百分点"。

同一项目,双重差分法(更强的设计):从同一当地劳动力市场中抽取的相似非参与者匹配对照组显示,同一年内就业率从 38% 上升到 47%(当时正处于一轮全国性经济复苏)。

处理组变化:      55% − 40% = +15 个百分点
对照组变化:      47% − 38% = +9 个百分点

双重差分估计值(该项目的真实效果) = 15 − 9 = +6 个百分点

如实可归因的效果是 6 个百分点,而不是 15 个百分点——表面上前后对比改善幅度的一半以上,实际上无论有无该项目本来就会发生,是由同样带动了对照组的经济复苏所驱动的。

断点回归,资格门槛:某项拨款计划仅面向员工人数少于 50 人的企业开放。将刚好低于门槛(45–49 人,符合资格)的企业与刚好高于门槛(50–54 人,不符合资格)的企业的结果进行比较,能提供一个可信的反事实情形,因为处于任意行政切分点两侧的企业在其他方面本质上是相似的——决定资格的是门槛本身,而不是任何潜在的企业特征。仅在该门槛处观察到的两组之间平均 2,000 英镑的结果差异,其可归因于该项拨款的置信度,要远高于简单地将所有符合资格企业与所有不符合资格企业(两者在规模上系统性存在差异)进行比较。

与软件工程的关联

反事实思维应当塑造政府与社会部门软件中影响力跟踪系统和评估流水线的设计方式:

  • 从一开始就在系统中构建对照组捕获机制——记录谁符合资格但未报名、或建立一个匹配的非参与者队列——而不是在项目已经运行、只存在前后数据之后再事后补建。
  • 在随机化可行的地方(分阶段推广、为部分用户先行启用的数字服务),应对系统进行仪表化,将随机分配结果保存为可查询字段;如果没有记录分配顺序,分阶段推广会无意中摧毁其自身的评估价值。
  • 这是影响力评估方法背后的基础方法,也是它与影响力评估与过程评估的区别所在——后者追问的是一个项目是否按预期交付,而不是它是否产生了某种效果。
  • 增益性与无谓损失以及置换与归因从根本上说都是反事实问题——无谓损失就是"若无该项干预,这一特定结果本会是什么",只是应用在调整层面,而非完整的评估设计层面。

常见陷阱

  • 将前后对比当作因果关系的证据。 这是公共部门和社会部门影响力报告中最常见、后果也最严重的错误;前后变化会把该项目的效果与同期发生的其他一切变化混为一谈。
  • 使用与处理组存在系统性差异的对照组。 匹配对照组必须在相关特征上真正相似(参见《洋红皮书》中反事实分析方法层级);将项目参与者(他们选择了参与,往往动机更强)与非参与者(他们没有参与)相比较,有将选择偏差伪装成项目效应的风险。
  • 因交付设计不当而破坏随机化机会。 只有在分配真正随机且被记录下来的情况下,分阶段或随机化推广才能保留其评估价值——让当地管理者自行选择谁先上线,就违背了这一目的。
  • 对薄弱设计的结果过度声称精确度。 前后对比估计值应作为指示性数据呈现,而不是作为已测量的效应量;《洋红皮书》的证据层级之所以存在,正是为了让声明的强度与产生该声明的设计强度相匹配。

参考资料

  • HM Treasury, "The Magenta Book: Central Government Guidance on Evaluation" (2020), and its supplementary guide on quasi-experimental methods. https://www.gov.uk/government/publications/the-magenta-book
  • Cabinet Office / Behavioural Insights Team, "Test, Learn, Adapt: Developing Public Policy with Randomized Controlled Trials" (2012).
  • What Works Network, standards of evidence guidance. https://www.gov.uk/guidance/what-works-network
  • Angrist JD, Pischke J-S. Mostly Harmless Econometrics: An Empiricist's Companion. Princeton University Press, 2009 (standard reference for difference-in-differences and regression discontinuity methods).