विषय 24 / 64· सामाजिक मूल्य और प्रभाव मापन
प्रभाव मूल्यांकन बनाम प्रक्रिया मूल्यांकन
प्रभाव-मूल्यांकन पूछता है कि क्या किसी कार्यक्रम ने अपने इच्छित परिणाम पैदा किए। प्रक्रिया-मूल्यांकन पूछता है कि क्या कार्यक्रम वास्तव में डिज़ाइन के अनुसार डिलीवर किया गया — किसे, किस खुराक पर, और रास्ते में किन बाधाओं या सहायकों के साथ। ये अलग-अलग प्रश्न हैं जिन्हें अलग-अलग विधियों की आवश्यकता है, और HM Treasury की Magenta Book दोनों को साथ में कमीशन करने को मानक अभ्यास मानती है, क्योंकि एक कमज़ोर या शून्य प्रभाव-परिणाम अपने आप में अव्याख्येय है: यह आपको नहीं बता सकता कि क्या कार्यक्रम का अंतर्निहित सिद्धांत ग़लत था, या क्या एक अच्छा सिद्धांत कभी ठीक से डिलीवर ही नहीं किया गया।
यह क्यों महत्वपूर्ण है
सरकारी मूल्यांकनों ने बार-बार किसी कार्यक्रम से कोई मापने योग्य प्रभाव नहीं पाया है जबकि यह समझाने के लिए कोई प्रक्रिया-मूल्यांकन नहीं था कि क्यों — जिससे कमीशनर "यह विचार काम नहीं करता" (सिद्धांत-विफलता) को "यह विचार वास्तव में कभी ठीक से आज़माया ही नहीं गया" (कार्यान्वयन-विफलता) से अलग करने में असमर्थ रह जाते हैं। जटिल हस्तक्षेपों के प्रक्रिया-मूल्यांकन पर Medical Research Council का मार्गदर्शन, जो 2015 में BMJ में प्रकाशित हुआ और Magenta Book के साथ व्यापक रूप से उद्धृत किया जाता है, निष्ठा (fidelity), खुराक (dose) और पहुँच (reach) को उन मूल चीज़ों के रूप में औपचारिक रूप देता है जिन्हें एक प्रक्रिया-मूल्यांकन मापना चाहिए। प्रक्रिया-मूल्यांकन के बिना प्रभाव-मूल्यांकन कमीशन करना एक वास्तव में मज़बूत कार्यक्रम-डिज़ाइन को छोड़ने का जोख़िम उठाता है क्योंकि यह इच्छित तीव्रता के एक अंश पर इच्छित जनसंख्या के आधे को डिलीवर किया गया था — एक ऐसी ग़लती जिसे रोकने की अच्छी स्थिति में एक सिस्टम-निर्माता होता है, क्योंकि डिलीवरी-निष्ठा ठीक वही है जिसे परिचालन डेटा-प्रणालियाँ लगभग वास्तविक-समय में कैप्चर कर सकती हैं।
गणितीय आधार
Process evaluation asks:
- Was it delivered to the target population, at the planned dose/intensity?
- Did delivery match the logic model / theory of change design?
- What barriers or facilitators affected delivery?
Methods: fidelity checks against pre-specified thresholds, case studies, interviews,
administrative delivery data.
Impact evaluation asks:
- What changed, and how much of that change is attributable to the programme?
Methods: RCT, DiD, PSM, RDD — see impact-evaluation-methods — against a counterfactual.
Combined diagnosis:
No effect + high fidelity → theory failure: the model itself did not produce the outcome
No effect + low fidelity → implementation failure: the model was never properly tested
Effect found + high fidelity → replicate with confidence
Effect found + low fidelity → investigate further: the effect may be fragile or site-specific
व्यावहारिक उदाहरण
स्थानीय प्राधिकरण (पेरेंटिंग कार्यक्रम): अंतर-में-अंतर का उपयोग करने वाला एक प्रभाव-मूल्यांकन बाल-कल्याण माप में +2 प्रतिशत-बिंदु का परिवर्तन पाता है — सांख्यिकीय रूप से महत्वपूर्ण नहीं। इसके साथ चलाया गया प्रक्रिया-मूल्यांकन पाता है कि कार्यक्रम लक्षित 500 परिवारों में से केवल 210 तक पहुँचा (42% पहुँच), और उनमें से भी केवल 95 ने 75%+ सेशन उपस्थिति की पूर्व-निर्धारित निष्ठा-सीमा पूरी की — मूल नियोजित पहुँच का 19%। निष्कर्ष: कमज़ोर प्रभाव-परिणाम एक कार्यान्वयन-विफलता के अनुरूप है, यह प्रमाण नहीं कि कार्यक्रम-मॉडल काम नहीं करता; उचित प्रतिक्रिया उस रेफ़रल-मार्ग को ठीक करना है जिसने 58% की गिरावट पैदा की, कार्यक्रम-डिज़ाइन को छोड़ना नहीं।
चैरिटी (डिजिटल साक्षरता कार्यक्रम): एक प्रभाव-मूल्यांकन एक मज़बूत प्रभाव पाता है (डिजिटल-आत्मविश्वास स्कोर पर +18 प्रतिशत-बिंदु), और समानांतर प्रक्रिया-मूल्यांकन सभी 12 डिलीवरी-स्थलों में नियोजित पाठ्यक्रम के प्रति 92% निष्ठा की पुष्टि करता है। मिलाकर, फंडर विश्वास के साथ कार्यक्रम को बड़ा कर सकता है, क्योंकि प्रभाव लगातार बना रहता दिखाया गया है, न कि यह किसी एक असामान्य रूप से अच्छे स्थल का उत्पाद है।
सॉफ़्टवेयर इंजीनियरिंग से संबंध
प्रक्रिया-मूल्यांकन डेटा ठीक वही है जिसे कैप्चर करने की अच्छी स्थिति में डिलीवरी-प्रणालियाँ होती हैं: योजना के विरुद्ध उपस्थिति, सेशन-खुराक, और किसी रेफ़रल या नामांकन-फ़नल के हर चरण पर गिरावट — वही फ़नल-एनालिटिक्स जो इंजीनियर पहले से उत्पाद-फ़ीचर के लिए बनाते हैं, इसके बजाय किसी सामाजिक कार्यक्रम की डिलीवरी-पाइपलाइन पर लागू। निष्ठा और पहुँच मेट्रिक्स को कार्यक्रम-प्रबंधकों को लगभग वास्तविक-समय में देना, अनुदान-समाप्ति मूल्यांकन की प्रतीक्षा करने के बजाय, एक टूटे हुए रेफ़रल-मार्ग को कार्यक्रम के बीच में ठीक होने देता है, न कि केवल वित्तपोषण-अवधि समाप्त होने के बाद खोजा जाना। प्रक्रिया-मूल्यांकन जिन कार्य-कारण डिज़ाइनों के साथ जोड़ा जाता है उनके लिए देखें प्रभाव मूल्यांकन विधियाँ, जिस डिज़ाइन के विरुद्ध प्रक्रिया-मूल्यांकन निष्ठा जाँचता है उसके लिए देखें थ्योरी ऑफ़ चेंज और लॉजिक मॉडल, और डिलीवरी को उन परिणामों तक ट्रैक करने के लिए जिनका वादा किया गया था देखें लाभ-साकारीकरण।
सामान्य त्रुटियाँ
- केवल प्रभाव-मूल्यांकन कमीशन करना। एक शून्य या कमज़ोर परिणाम की तब सिद्धांत-विफलता या कार्यान्वयन-विफलता के रूप में व्याख्या नहीं की जा सकती, जो ठीक वही भेद है जो आगे क्या करना है तय करने के लिए मायने रखता है।
- प्रक्रिया-मूल्यांकन को एक नरम अतिरिक्त मानना। इसे प्रभाव-डिज़ाइन जैसी ही कठोरता और पूर्व-निर्धारित निष्ठा-मानदंड चाहिए, अन्यथा यह परिणाम आने पर एक क़िस्से में सिमट जाता है।
- "समय पर और बजट के भीतर" को "डिज़ाइन के अनुसार डिलीवर" के साथ भ्रमित करना। प्रक्रिया-मूल्यांकन मॉडल के प्रति निष्ठा जाँचता है — खुराक, लक्ष्य-समूह, सामग्री — परियोजना-प्रबंधन RAG स्थिति नहीं।
- निष्ठा-सीमाओं को पहले से पंजीकृत न करना। यह बाद में तय करना कि "पर्याप्त खुराक" क्या गिनी जाए, किसी निराशाजनक प्रभाव-परिणाम की किसी भी व्याख्या को बाद-की-बहानेबाज़ी जैसा दिखाता है।
स्रोत
- HM Treasury, Magenta Book (2020). https://www.gov.uk/government/publications/the-magenta-book
- Moore G, et al., "Process evaluation of complex interventions: Medical Research Council guidance." BMJ 2015;350:h1258. https://www.bmj.com/content/350/bmj.h1258
- National Audit Office, programme evaluation reports. https://www.nao.org.uk/