第 20 个主题,共 64 个· 社会价值与影响力衡量

成果与产出

产出是一项活动直接的、可计数的产物——它在交付发生的那一刻就存在,无论其产生了什么效果。成果则是随之而来的、发生在相关人员、地方或系统身上的变化。"500 人参加了求职工作坊"是一项产出:即便他们当中没有一个人找到工作,这句话依然为真。"500 人的就业前景得到改善"是一项成果声明,它需要变化的证据,而不仅仅是出席的证据——这种混淆,几乎比该领域中任何其他测量错误都更容易产出误导性的拨款报告。

为何重要

英国财政部《洋红皮书》以及国家彩票社区基金等资助方都要求进行成果报告,正是因为产出是项目默认会报告的内容:它们统计起来成本低廉、总是可以获得、而且看起来总是正面的。一项产出计数绝不可能因为项目失败而下降——交付的场次更多,永远意味着"更多",而成果却可能揭示出一个项目并不奏效。国家审计署一再批评政府项目将活动水平当作成功的证据来报告;一套只让产出容易被报告的软件系统,会默认强化这种做法,因为产出无需后续数据收集,而成果需要。

数学原理

虽然没有一个固定公式,但有一个可靠的检验方法可以对一项指标进行分类:

产出检验:它是否在交付时点就可计数,即便接受者未受任何影响,
         该数字依然为真?
成果检验:它是否需要前后对比或有无对比才具有意义?

如果一个数字即便在没有让任何人受益的情况下也能成立,
它就是一项产出。

这一区分处在更广泛的逻辑模型链条之中,并依赖于变革理论中所定义的成果关联;将一项成果转化为货币,则使用社会投资回报中的方法。

实例演算

地方政府(就业支持):产出——500 人参加了求职工作坊。成果——在 12 个月后的跟踪调查中,这 500 人中有 140 人(28%)实现了持续性就业(6 个月以上)。一个特征相似、但未接触该项目的对照组,在同一时期的基线就业率为 15%。净成果提升:28% − 15% = 13 个百分点,因此估计有 500 × 0.13 = 65 人因该项目而多获得就业,这是可归因的成果,与 500 这个出席人数或 140 这个原始就业人数都不相同。

慈善机构(识字慈善机构):产出——为 300 名儿童提供了 1,200 场阅读辅导。成果——在 6 个月内,平均阅读年龄提升了 8 个月,而预期的 6 个月自然进步基线为 6 个月。净成果增益:8 − 6 = 每名儿童因该项目而额外获得的 2 个月阅读年龄提升,而不是完整的 8 个月这个数字。

与软件工程的关联

事件日志和交易系统几乎自动地为产出提供仪表化——页面浏览量、会话数、已关闭的工单、已预约的名额——因为这些是系统正常运作过程中自然产生的。而成果需要一种数据模型,能够在后续某个时间点、针对基线或对照组,捕获同一个个体的信息,这必须经过刻意设计:后续跟踪调查、关联的行政记录,或一个对照队列。一个只支持前者的报告工具,无论资助方要求什么,都会在不知不觉中将一个组织引向只报告产出的方向。关于成果在问责链中的位置,参见逻辑模型;关于将这一区分转化为单位成本指标,参见单位成果成本;关于指标选择的更广泛模式,参见公共部门关键绩效指标。

常见陷阱

  • 将产出当作成果来报告。 "500 人参加了"暗示了效益,却未加以证明;应明确将出席标注为一项产出。
  • 没有基线或对照组。 一个没有反事实情形的成果数字——参见反事实分析——无法将项目效应与本来就会发生的情况区分开来。
  • 为受资助指标进行优化。 当资金与产出量挂钩时,交付团队会理性地最大化出席人数、而非持久的改变,这是古德哈特定律(Goodhart's law)的一种失败模式。
  • 成果洗白。 用听起来像成果的语言重新包装一项产出指标("参与成果:500 名出席者"),而其背后没有任何后续测量支撑。

参考资料