विषय 23 / 64· सामाजिक मूल्य और प्रभाव मापन

प्रभाव मूल्यांकन विधियाँ

प्रभाव-मूल्यांकन विधियाँ वे सांख्यिकीय और प्रायोगिक डिज़ाइन हैं जिनका उपयोग यह अनुमान लगाने के लिए किया जाता है कि किसी नीति या कार्यक्रम ने वास्तव में क्या पैदा किया, इसके विपरीत कि वैसे भी क्या होता — यादृच्छिक नियंत्रित परीक्षण (RCT), अंतर-में-अंतर (difference-in-differences), प्रवृत्ति-स्कोर मिलान (propensity score matching), और रिग्रेशन डिस्कॉन्टिन्युटी डिज़ाइन यूके सार्वजनिक नीति में सबसे अधिक उपयोग की जाने वाली चार विधियाँ हैं। ये इसलिए मौजूद हैं क्योंकि अधिकांश सरकारी हस्तक्षेपों को प्रयोगशाला में परखा नहीं जा सकता: आप यह यादृच्छिक नहीं कर सकते कि किस शहर को नया बस-मार्ग मिले, जैसे आप यह यादृच्छिक कर सकते हैं कि किस मरीज़ को कोई दवा मिले, इसलिए ये विधियाँ हमेशा यादृच्छिक असाइनमेंट की आवश्यकता के बिना वही कार्य-कारण तर्क उधार लेती हैं।

यह क्यों महत्वपूर्ण है

HM Treasury की Magenta Book, अर्ध-प्रायोगिक विधियों पर अनुबंध A, इन डिज़ाइनों के बीच चुनाव पर यूके सरकार का प्रामाणिक मार्गदर्शन है, और Education Endowment Foundation तथा What Works Centre for Local Economic Growth जैसे निकाय इनके इर्द-गिर्द बना एक साक्ष्य-पदानुक्रम संस्थागत करते हैं — जहाँ यादृच्छिकीकरण व्यावहारिक और नैतिक है वहाँ RCT, जहाँ नहीं है वहाँ अर्ध-प्रायोगिक डिज़ाइन। विधि का चुनाव कोई तकनीकी बाद का विचार नहीं है: यह तय करता है कि कोई मूल्यांकन "क्या कार्यक्रम ने यह पैदा किया?" का उत्तर दे सकता है या केवल "क्या यह कार्यक्रम शुरू होने के बाद हुआ?" का, जो वही प्रश्न है जिसे काउंटरफ़ैक्चुअल विश्लेषण किसी भी मूल्यांकन को शुरू करने से पहले पूछने के लिए अभ्यासकर्ताओं को मजबूर करने हेतु बनाया गया है।

गणितीय आधार

RCT:
  Impact = mean(outcome | treatment group) − mean(outcome | control group)
  (valid because assignment to treatment is random)

Difference-in-differences (DiD):
  Impact = [outcome_after(treated) − outcome_before(treated)]
         − [outcome_after(control) − outcome_before(control)]
  (requires a "parallel trends" assumption: treated and control would have moved together
   absent the intervention)

Propensity score matching (PSM):
  1. Estimate P(treatment = 1 | covariates X) for every unit → propensity score
  2. Match treated units to untreated units with similar propensity scores
  3. Impact = mean(outcome | treated) − mean(outcome | matched control)

Regression discontinuity design (RDD):
  Impact = jump in outcome observed at the eligibility threshold,
           comparing units just above vs just below the cutoff

व्यावहारिक उदाहरण

स्थानीय प्राधिकरण (परेशान-परिवार कार्यक्रम के लिए अंतर-में-अंतर): परिणाम स्कूल-उपस्थिति है। उपचारित क्षेत्र कार्यक्रम-अवधि में 84% से 89% उपस्थिति (+5 प्रतिशत-बिंदु) तक बढ़ता है; एक तुलनीय लेकिन अनुपचारित क्षेत्र उसी अवधि में 85% से 87% (+2 प्रतिशत-बिंदु) तक बढ़ता है। DiD प्रभाव-अनुमान: 5 − 2 = कार्यक्रम को श्रेय-योग्य +3 प्रतिशत-बिंदु। उपचारित क्षेत्र के 2,000 छात्रों के समूह पर लागू करने पर, यह लगभग 60 अतिरिक्त छात्रों (3% × 2,000) के उच्च उपस्थिति-श्रेणी तक पहुँचने के अनुरूप है, एक विस्तार जिसे इसके समानांतर-प्रवृत्ति चेतावनी के साथ रिपोर्ट किया जाना चाहिए, एक सटीक हेडकाउंट के रूप में नहीं।

चैरिटी (रोज़गार-योग्यता चैरिटी के लिए प्रवृत्ति-स्कोर मिलान): 300 कार्यक्रम-प्रतिभागियों का मिलान आयु, पूर्व-रोज़गार इतिहास और योग्यता-स्तर से बनाए गए प्रवृत्ति-स्कोर का उपयोग करके एक बड़े प्रशासनिक डेटासेट से 300 व्यक्तियों से किया जाता है। बारह-महीने की रोज़गार-दर: मिलान उपचारित समूह 46%, मिलान तुलना-समूह 33%। PSM प्रभाव-अनुमान: 46% − 33% = कार्यक्रम को श्रेय-योग्य +13 प्रतिशत-बिंदु, इस शर्त पर कि कोई अनदेखा कंफ़ाउंडर (जैसे प्रेरणा) भागीदारी और परिणाम दोनों को न चला रहा हो।

सॉफ़्टवेयर इंजीनियरिंग से संबंध

इनमें से कोई भी डिज़ाइन बाद में व्यावहारिक है या नहीं, यह काफ़ी हद तक शुरुआत में लिए गए डेटा-इंजीनियरिंग निर्णयों पर निर्भर करता है। RDD को एक सटीक रूप से दर्ज किया गया रनिंग वेरिएबल और वास्तव में स्वच्छ पात्रता-कट-ऑफ़ चाहिए; DiD को उपचारित और तुलना दोनों क्षेत्रों के लिए समय के साथ तुलनीय पैनल-डेटा चाहिए, जिसका अर्थ है प्रणालियों और वर्षों में संगत जॉइन; PSM को उपचार से पहले कैप्चर किए गए समृद्ध आधार-रेखा सहचर (covariate) डेटा चाहिए, बाद में पुनर्निर्मित नहीं। शुरुआत से थ्योरी ऑफ़ चेंज और लॉजिक मॉडल के साथ डिज़ाइन किया गया एक डेटा-मॉडल — आधार-रेखा सहचर, तिथियाँ, और तुलना-समूह-पात्र रिकॉर्ड कैप्चर करना — वही चीज़ है जो बाद में एक कठोर प्रभाव-मूल्यांकन को संभव बनाती है, एक महँगी बाद-की-खोज के बजाय। ये विधियाँ अपने आप जिस पूरक प्रश्न का उत्तर नहीं देतीं उसके लिए देखें प्रभाव मूल्यांकन बनाम प्रक्रिया मूल्यांकन।

सामान्य त्रुटियाँ

  • अव्यवहारिक या अनैतिक होने पर RCT को मजबूर करना, या इसके विपरीत, किसी अर्ध-प्रायोगिक डिज़ाइन पर कभी विचार न करना जब उसके लिए एक वास्तविक अवसर — एक नीति कट-ऑफ़, एक चरणबद्ध रोलआउट — उपलब्ध था और अनुपयोगित रह गया।
  • DiD में समानांतर-प्रवृत्ति धारणा को नज़रअंदाज़ करना। यदि तुलना-क्षेत्र हस्तक्षेप से पहले ही उपचारित क्षेत्र से अलग हो रहा था, तो दो-बिंदु तुलना दूषित है; केवल पहले/बाद नहीं, पूर्व-प्रवृत्तियों की जाँच करें।
  • PSM में केवल देखे गए सहचरों पर मिलान करना। अनदेखा चयन, जैसे प्रतिभागी-प्रेरणा, देखे गए सहचरों के अच्छी तरह संतुलित होने पर भी अनुमान को पूर्वाग्रहित कर सकता है।
  • RDD में रनिंग वेरिएबल में हेरफेर। यदि लोग अपने स्कोर को प्रभावित करके किसी पात्रता-सीमा के ठीक भीतर ला सकते हैं, तो असंततता अब कोई कार्य-कारण प्रभाव अलग नहीं करती।

स्रोत