موضوع 20 از 64· ارزش اجتماعی و سنجش اثر
پیامد در برابر برونداد
برونداد محصول مستقیم و شمارشپذیر یک فعالیت است ــ بهمحض انجام تحویل وجود دارد، صرفنظر از اینکه چه اثری دارد. پیامد تغییری است که پس از آن برای مردم، مکان یا نظام درگیر رخ میدهد. «500 نفر در کارگاه جستوجوی شغل شرکت کردند» یک برونداد است: حتی اگر هیچکدامشان کار پیدا نکنند درست است. «چشمانداز اشتغال 500 نفر بهبود یافت» ادعای پیامد است و به شواهد تغییر نیاز دارد، نه صرفاً شواهد حضور ــ همان اشتباهی که بیش از تقریباً هر خطای اندازهگیری دیگری در این بخش گزارشهای کمکهزینهی گمراهکننده تولید میکند.
چرا اهمیت دارد
کتاب مجنتا خزانهداری بریتانیا و تأمینکنندگانی مانند صندوق اجتماعی لاتاری ملی هر دو گزارش پیامد را دقیقاً از آن رو میخواهند که بروندادها همان چیزیاند که برنامهها بهطور پیشفرض گزارش میکنند: شمارششان ارزان است، همیشه در دسترساند و همیشه مثبت به نظر میرسند. شمارش برونداد هرگز در نتیجهی شکست برنامه کاهش نمییابد ــ جلسات بیشتر همیشه «بیشتر» است، در حالی که پیامد میتواند نشان دهد برنامه کار نمیکند. ادارهی ملی حسابرسی (NAO) بارها از برنامههای دولتی انتقاد کرده که سطوح فعالیت را چنان گزارش میکنند که گویی شواهد موفقیتاند؛ سامانهی نرمافزاریای که فقط گزارش برونداد را آسان میکند این را بهطور پیشفرض تقویت میکند، چون بروندادها به گردآوری دادهی پیگیری نیاز ندارند و پیامدها دارند.
ریاضیات
فرمولی وجود ندارد، اما آزمونی قابلاتکا برای طبقهبندی یک سنجه هست:
Output test: is it countable at the point of delivery, true even if the recipient is unaffected?
Outcome test: does it require a before/after or with/without comparison to be meaningful?
If a number can be true with zero benefit to anyone, it is an output.
این درون زنجیرهی گستردهتر مدل منطقی قرار دارد و به پیوندهای پیامد که در نظریهی تغییر تعریف میشوند وابسته است؛ تبدیل پیامد به پول از روشهای بازده اجتماعی سرمایهگذاری استفاده میکند.
مثال عملی
مقام محلی (حمایت از اشتغال): برونداد — 500 نفر در کارگاههای جستوجوی شغل شرکت کردند. پیامد — در پیگیری 12 ماهه، 140 نفر از آن 500 نفر (28%) در اشتغال پایدار (6 ماه یا بیشتر) هستند. گروه مقایسهای با ویژگیهای مشابه که به برنامه دسترسی نداشت، نرخ اشتغال پایهی 15% را در همان دوره دارد. افزایش خالص پیامد: 28% − 15% = 13 واحد درصد، پس برآورد میشود 500 × 0.13 = 65 نفر اضافی شاغلاند که در غیر این صورت نبودند ــ پیامدِ قابل انتساب، متمایز از رقم حضور 500 و رقم خام اشتغال 140.
نهاد خیریه (خیریهی سواد خواندن): برونداد — 1,200 جلسهی خواندن برای 300 کودک. پیامد — میانگین سن خواندن در دورهی 6 ماهه 8 ماه بهبود یافت، در برابر پایهی پیشرفت طبیعی مورد انتظار 6 ماه در 6 ماه. افزایش خالص پیامد: 8 − 6 = 2 ماه بهبود اضافی در سن خواندن به ازای هر کودک که قابل انتساب به برنامه است، نه کل رقم 8 ماه.
پیوند با مهندسی نرمافزار
لاگ رویدادها و سامانههای تراکنشی تقریباً خودکار بروندادها را ابزارگذاری میکنند ــ بازدید صفحه، نشست، تیکت بستهشده، نوبت رزروشده ــ چون سامانه در حین کار خود آنها را تولید میکند. پیامدها مدل دادهای میطلبند که همان فرد را در زمانی بعدتر در برابر پایه یا مقایسه ثبت کند، که باید عمداً طراحی شود: نظرسنجی پیگیری، پروندههای اداری پیوندخورده، یا همگروه مقایسه. ابزار گزارشدهیای که فقط اولی را پشتیبانی کند، بیسروصدا سازمان را به گزارشدهی صرفاً بروندادمحور هدایت میکند، هر چه تأمینکنندهی مالی خواسته باشد. برای جایگاه پیامدها در زنجیرهی پاسخگویی به مدل منطقی، برای تبدیل این تمایز به سنجهی هزینهی واحد به هزینه بهازای پیامد، و برای الگوی گستردهتر انتخاب سنجه به KPIهای بخش عمومی نگاه کنید.
دامها
- گزارش بروندادها گویی پیامدند. «500 نفر شرکت کردند» منفعت را القا میکند بیآنکه نشانش دهد؛ حضور را صراحتاً برونداد برچسب بزنید.
- نبود پایه یا گروه مقایسه. رقم پیامد بدون وضعیت خلافواقع ــ نگاه کنید به تحلیل وضعیت خلافواقع ــ نمیتواند اثر برنامه را از آنچه به هر حال رخ میداد جدا کند.
- بهینهسازی برای سنجهی تأمینشده. وقتی تأمین مالی به حجم برونداد گره میخورد، تیمهای تحویل عاقلانه حضور را بر تغییر پایدار ترجیح میدهند، که شکستی از نوع قانون گودهارت است.
- پیامدنمایی. بازبرچسبزدن سنجهی برونداد با زبانی که پیامدی به نظر میرسد («پیامدهای مشارکت: 500 شرکتکننده») بیآنکه اندازهگیری پیگیریای پشتش باشد.
منابع
- HM Treasury, Magenta Book (2020). https://www.gov.uk/government/publications/the-magenta-book
- National Lottery Community Fund, outcomes reporting guidance. https://www.tnlcommunityfund.org.uk/
- National Audit Office, value-for-money report methodology. https://www.nao.org.uk/