विषय 20 / 64· सामाजिक मूल्य और प्रभाव मापन

आउटकम बनाम आउटपुट

एक आउटपुट किसी गतिविधि का प्रत्यक्ष, गणनीय उत्पाद है — यह डिलीवरी होते ही अस्तित्व में आ जाता है, चाहे इसका प्रभाव कुछ भी हो। एक परिणाम (outcome) वह परिवर्तन है जो शामिल लोगों, स्थान या प्रणाली के लिए बाद में आता है। "500 लोगों ने एक नौकरी-खोज कार्यशाला में भाग लिया" एक आउटपुट है: यह सच है भले ही उनमें से किसी को नौकरी न मिले। "500 लोगों की रोज़गार-संभावनाएँ बेहतर हुईं" एक परिणाम-दावा है, और इसके लिए भागीदारी के प्रमाण के बजाय परिवर्तन के प्रमाण चाहिए — यही वह भ्रम है जो इस क्षेत्र में लगभग किसी भी अन्य मापन-त्रुटि से अधिक भ्रामक अनुदान-रिपोर्टें उत्पन्न करता है।

यह क्यों महत्वपूर्ण है

HM Treasury की Magenta Book और National Lottery Community Fund जैसे फंडर दोनों विशेष रूप से इसीलिए परिणाम-रिपोर्टिंग की अपेक्षा करते हैं क्योंकि आउटपुट वह है जो कार्यक्रम डिफ़ॉल्ट रूप से रिपोर्ट करते हैं: इन्हें गिनना सस्ता है, हमेशा उपलब्ध रहता है, और हमेशा सकारात्मक दिखता है। कार्यक्रम की विफलता के परिणामस्वरूप एक आउटपुट-गणना शाब्दिक रूप से कभी नीचे नहीं जा सकती — अधिक दी गई सेशन हमेशा "अधिक" ही होती हैं, जबकि एक परिणाम यह उजागर कर सकता है कि कार्यक्रम काम नहीं कर रहा। National Audit Office ने बार-बार सरकारी कार्यक्रमों की गतिविधि-स्तर को ऐसे रिपोर्ट करने की आलोचना की है मानो वे सफलता के प्रमाण हों; एक सॉफ़्टवेयर प्रणाली जो केवल आउटपुट को रिपोर्ट करना आसान बनाती है, यह डिफ़ॉल्ट रूप से इसे और मज़बूत करती है, क्योंकि आउटपुट को किसी अनुगमन-डेटा-संग्रहण की आवश्यकता नहीं होती और परिणामों को होती है।

गणितीय आधार

कोई सूत्र नहीं है, लेकिन किसी मेट्रिक को वर्गीकृत करने के लिए एक विश्वसनीय परीक्षण है:

Output test:  is it countable at the point of delivery, true even if the recipient is unaffected?
Outcome test: does it require a before/after or with/without comparison to be meaningful?

If a number can be true with zero benefit to anyone, it is an output.

यह व्यापक लॉजिक मॉडल शृंखला के भीतर बैठता है और किसी थ्योरी ऑफ़ चेंज में परिभाषित परिणाम-कड़ियों पर निर्भर करता है; किसी परिणाम को धन में बदलने के लिए सामाजिक निवेश प्रतिफल में दी गई विधियों का उपयोग होता है।

व्यावहारिक उदाहरण

स्थानीय प्राधिकरण (रोज़गार सहायता): आउटपुट — 500 लोगों ने नौकरी-खोज कार्यशालाओं में भाग लिया। परिणाम — 12-महीने के अनुगमन पर, उन 500 में से 140 (28%) स्थायी रोज़गार में हैं (6+ महीने)। समान विशेषताओं वाले लेकिन कार्यक्रम-पहुँच के बिना एक तुलना-समूह की उसी अवधि में 15% आधार-रेखा रोज़गार-दर है। शुद्ध परिणाम-वृद्धि: 28% − 15% = 13 प्रतिशत-बिंदु, इसलिए अनुमानित 500 × 0.13 = 65 अतिरिक्त लोग काम में हैं जो अन्यथा नहीं होते — यह श्रेय-योग्य परिणाम है, न तो 500 की उपस्थिति-संख्या से मेल खाता है और न ही 140 की कच्ची रोज़गार-गणना से।

चैरिटी (साक्षरता चैरिटी): आउटपुट — 300 बच्चों को 1,200 पठन-सेशन दी गईं। परिणाम — 6-महीने की अवधि में औसत पठन-आयु 8 महीने बेहतर हुई, 6-महीने की अपेक्षित स्वाभाविक प्रगति आधार-रेखा के विरुद्ध। शुद्ध परिणाम-लाभ: 8 − 6 = कार्यक्रम को श्रेय-योग्य प्रति बच्चा 2 महीने की अतिरिक्त पठन-आयु सुधार, पूरा 8-महीने का आँकड़ा नहीं।

सॉफ़्टवेयर इंजीनियरिंग से संबंध

घटना-लॉग और लेन-देन-प्रणालियाँ आउटपुट को लगभग स्वचालित रूप से इंस्ट्रूमेंट करती हैं — पेज-व्यू, सेशन, बंद किए गए टिकट, बुक की गई नियुक्तियाँ — क्योंकि ये प्रणाली द्वारा अपना काम करने से उत्पन्न होते हैं। परिणामों के लिए एक डेटा-मॉडल चाहिए जो उसी व्यक्ति को बाद के समय-बिंदु पर एक आधार-रेखा या तुलना के विरुद्ध कैप्चर करे, जिसे जानबूझकर डिज़ाइन किया जाना चाहिए: अनुगमन-सर्वेक्षण, जुड़े हुए प्रशासनिक रिकॉर्ड, या एक तुलना-समूह। एक रिपोर्टिंग-टूल जो केवल पहले का समर्थन करता है, फंडर ने चाहे जो भी माँगा हो, किसी संगठन को चुपचाप केवल-आउटपुट रिपोर्टिंग की ओर धकेल देगा। जवाबदेही-शृंखला में परिणाम कहाँ बैठते हैं इसके लिए देखें लॉजिक मॉडल, इस भेद को एक यूनिट-लागत मेट्रिक में बदलने के लिए देखें प्रति-परिणाम लागत, और मेट्रिक-चयन के व्यापक प्रतिमान के लिए देखें सार्वजनिक क्षेत्र KPI।

सामान्य त्रुटियाँ

  • आउटपुट को परिणाम की तरह रिपोर्ट करना। "500 लोगों ने भाग लिया" बिना प्रदर्शित किए लाभ का संकेत देता है; उपस्थिति को स्पष्ट रूप से एक आउटपुट के रूप में लेबल करें।
  • कोई आधार-रेखा या तुलना-समूह नहीं। बिना काउंटरफ़ैक्चुअल के एक परिणाम-आँकड़ा — देखें काउंटरफ़ैक्चुअल विश्लेषण — कार्यक्रम-प्रभाव को उससे अलग नहीं कर सकता जो वैसे भी होता।
  • वित्तपोषित मेट्रिक के लिए अनुकूलन करना। जब वित्तपोषण आउटपुट-मात्रा से जुड़ा होता है, डिलीवरी टीमें तर्कसंगत रूप से टिकाऊ परिवर्तन के बजाय उपस्थिति को अधिकतम करती हैं, एक Goodhart के नियम की विफलता-प्रवृत्ति।
  • परिणाम-वॉशिंग। किसी आउटपुट-मेट्रिक को बिना किसी अनुगमन-मापन के पीछे परिणाम-जैसी भाषा में फिर से लेबल करना ("जुड़ाव परिणाम: 500 उपस्थित")।

स्रोत