第 24 个主题,共 64 个· 社会价值与影响力衡量

影响力评估与过程评估

影响力评估追问的是:一个项目是否造成了其预期的成果。过程评估追问的是:这个项目是否真的按设计交付了——交付给了谁、以什么剂量交付、过程中遇到了哪些障碍或助力因素。这是两个需要不同方法的不同问题,英国财政部《洋红皮书》将同时委托这两种评估视为标准做法,因为一个微弱或零效应的影响力结果本身是无法解读的:它无法告诉你,究竟是项目背后的理论错了,还是一个好的理论根本没有被真正妥善地交付过。

为何重要

政府评估一再发现某个项目没有可测量的效果,却没有过程评估来解释为什么——这使委托方无法区分"这个想法行不通"(理论失败)与"这个想法从未被真正妥善尝试过"(实施失败)。医学研究理事会(Medical Research Council)关于复杂干预措施过程评估的指南,2015 年发表于《英国医学杂志》(BMJ),与《洋红皮书》一同被广泛引用,将保真度、剂量和触达范围正式确立为过程评估必须测量的核心内容。只委托影响力评估而不委托过程评估,有可能导致一个真正合理的项目设计被放弃,仅仅因为它实际只交付给了预期人群的一半、强度也只有预期的一小部分——这正是一位系统构建者能够很好地预防的错误,因为交付保真度恰恰是运营数据系统能够近乎实时捕获的内容。

数学原理

过程评估追问:
 - 是否按计划的剂量/强度交付给了目标人群?
 - 交付是否与逻辑模型/变革理论的设计相符?
 - 哪些障碍或助力因素影响了交付?
 方法:对照预先设定阈值的保真度核查、案例研究、访谈、
       行政交付数据。

影响力评估追问:
 - 发生了什么变化,其中多少变化可归因于该项目?
 方法:RCT、DiD、PSM、RDD——参见 impact-evaluation-methods——
       与一个反事实情形相比较。

综合诊断:
 无效应 + 高保真度  → 理论失败:该模型本身未能产生该成果
 无效应 + 低保真度  → 实施失败:该模型从未被真正妥善检验过
 发现效应 + 高保真度 → 可有信心地进行复制推广
 发现效应 + 低保真度 → 需进一步调查:该效应可能不稳固或
                       具有场地特异性

实例演算

地方政府(育儿项目):一项使用双重差分法的影响力评估发现,儿童福祉衡量指标变化了 +2 个百分点——不具统计显著性。与其同时开展的过程评估发现,该项目仅触达了目标 500 个家庭中的 210 个(触达率 42%),而在这些家庭中,只有 95 个达到了预先设定的 75% 以上课程出勤率保真度阈值——仅为原计划触达人群的 19%。结论:这一微弱的影响力结果与实施失败一致,而不是该项目模式不起作用的证据;恰当的应对措施是修复导致 58% 流失率的转介路径,而不是放弃该项目设计。

慈善机构(数字素养项目):一项影响力评估发现了显著效应(数字信心分数 +18 个百分点),与之同步开展的过程评估确认,在全部 12 个交付场地中,对预定课程的保真度达到 92%。综合来看,资助方可以有信心地扩大该项目规模,因为该效应被证明是持续稳定的,而不是某一个异常出色场地的产物。

与软件工程的关联

过程评估数据正是交付系统能够很好地捕获的内容:按计划的出勤情况、课程剂量,以及转介或报名漏斗每一阶段的流失情况——这与工程师已经为产品功能构建的漏斗分析完全相同,只是应用在了一个社会项目的交付流水线上。将保真度和触达范围指标近乎实时地反馈给项目经理,而不是等待拨款期末的评估,能让一条出问题的转介路径在项目进行中就得到修复,而不是要等到资助周期结束后才被发现。关于过程评估所配合的因果设计,参见影响力评估方法;关于过程评估据以检验保真度的设计,参见变革理论和逻辑模型;关于跟踪交付直至承诺成果的实现,参见效益实现。

常见陷阱

  • 只委托影响力评估。 一个零效应或微弱的结果将无法被解读为理论失败还是实施失败,而这恰恰是决定下一步该怎么做时至关重要的区分。
  • 将过程评估当作一个软性的附加项。 它需要与影响力设计同样的严谨度和预先设定的保真度标准,否则一旦结果出炉,它就会沦为轶事。
  • 将"按时、按预算"与"按设计交付"相混淆。 过程评估检验的是对模型的保真度——剂量、目标群体、内容——而不是项目管理的红绿灯状态。
  • 未预先登记保真度阈值。 事后才决定什么算"足够的剂量",会使任何对令人失望的影响力结果的解释,看起来像是事后找借口。

参考资料