第 23 个主题,共 64 个· 社会价值与影响力衡量

影响力评估方法

影响力评估方法,是用于估计一项政策或项目究竟造成了什么效果——区别于本来就会发生什么——的统计和实验设计:随机对照试验(RCT)、双重差分法、倾向得分匹配和断点回归设计,是英国公共政策中最常用的四种方法。它们之所以存在,是因为大多数政府干预措施无法在实验室中进行测试:你无法像随机分配哪位患者接受某种药物那样,随机分配哪个城镇获得一条新公交线路,因此这些方法在借用相同因果逻辑的同时,并不总是要求随机分配。

为何重要

英国财政部《洋红皮书》附录 A 关于准实验方法的部分,是英国政府在这些设计之间做出选择的权威指南,而教育捐赠基金会(Education Endowment Foundation)和地方经济增长"什么有效"中心(What Works Centre for Local Economic Growth)等机构则围绕它们将一套证据层级制度化——在随机化可行且符合伦理的地方使用 RCT,在不可行的地方使用准实验设计。方法的选择不是一个技术性的事后考量:它决定了一项评估能否回答"这个项目造成了这个结果吗?",还是只能回答"这件事是在项目启动之后发生的吗?"——而这正是反事实分析旨在迫使从业者在委托任何评估之前就要问的同一个问题。

数学原理

RCT:
  影响 = 均值(结果 | 处理组) − 均值(结果 | 对照组)
  (之所以成立,是因为分配到处理组是随机的)

双重差分法(DiD):
  影响 = [结果_之后(处理组) − 结果_之前(处理组)]
       − [结果_之后(对照组) − 结果_之前(对照组)]
  (需要"平行趋势"假设:若无该项干预,处理组与对照组
   本会同步变化)

倾向得分匹配(PSM):
  1. 为每个单元估计 P(处理 = 1 | 协变量 X) → 倾向得分
  2. 将处理组单元与倾向得分相近的未处理单元进行匹配
  3. 影响 = 均值(结果 | 处理组) − 均值(结果 | 匹配对照组)

断点回归设计(RDD):
  影响 = 在资格门槛处观察到的结果跳跃,
         比较刚好高于与刚好低于切分点的两组单元

实例演算

地方政府(针对问题家庭项目的双重差分法):结果指标为学校出勤率。在项目实施期间,受处理地区的出勤率从 84% 升至 89%(+5 个百分点);一个可比但未受处理的地区在同一时期从 85% 升至 87%(+2 个百分点)。双重差分法估计的影响:5 − 2 = 可归因于该项目的 +3 个百分点。应用于受处理地区 2,000 名学生的队列,这大致相当于约 60 名(3% × 2,000)额外学生达到更高的出勤类别,这一外推结果应连同其平行趋势前提一并报告,而不是作为一个精确的人头数字。

慈善机构(针对一家就业能力慈善机构的倾向得分匹配):300 名项目参与者,与来自一个更大行政数据集、基于年龄、既往就业史和资历水平构建倾向得分而匹配出的 300 名个体进行匹配。十二个月就业率:匹配后的处理组 46%,匹配后的对照组 33%。PSM 估计的影响:46% − 33% = 可归因于该项目的 +13 个百分点,前提是没有未被观测到的混杂因素(例如动机)同时驱动参与和结果。

与软件工程的关联

这些设计中任何一种日后是否可行,很大程度上取决于早期做出的数据工程决策。RDD 需要一个被准确记录的连续变量,以及一个真正干净的资格切分点;DiD 需要处理地区和对照地区在时间上具备可比的面板数据,这意味着跨系统、跨年度的一致关联;PSM 需要在处理之前捕获的丰富基线协变量数据,而不是事后重建。从一开始就与变革理论和逻辑模型一同设计的数据模型——捕获基线协变量、日期以及符合对照组资格的记录——正是使日后严谨的影响力评估成为可能、而不是一场昂贵的事后补救行动的关键所在。关于这些方法本身无法单独回答的互补问题,参见影响力评估与过程评估。

常见陷阱

  • 在不可行或不符合伦理的情况下强行使用 RCT,或反过来,在存在真实机会(一个政策切分点、一次分阶段推广)却未加利用的情况下,从未考虑过准实验设计。
  • 忽视 DiD 中的平行趋势假设。 如果对照地区在干预之前就已经在与处理地区分道扬镳,那么这种两点比较就被污染了;应检验干预前的趋势,而不仅仅是前后对比。
  • PSM 中只按已观测协变量进行匹配。 即便已观测协变量高度平衡,未被观测到的选择因素(例如参与者的动机)仍可能使估计值产生偏差。
  • RDD 中的连续变量操纵。 如果人们能够影响自己的得分、使其刚好落在资格门槛之内,那么该断点就不再能分离出一个因果效应。

参考资料