विषय 8 / 64· सार्वजनिक मूल्य की नींव

काउंटरफ़ैक्चुअल विश्लेषण

काउंटरफ़ैक्चुअल किसी हस्तक्षेप की अनुपस्थिति में क्या होता, इसका अनुमान है। इसके बिना, किसी कार्यक्रम के लॉन्च होने के बाद देखा गया परिवर्तन उस परिवर्तन से अलग नहीं किया जा सकता जो वैसे भी होता — कोई काउंटरफ़ैक्चुअल नहीं, प्रभाव का कोई साक्ष्य नहीं, भले ही पहले-और-बाद की संख्याएँ कितनी भी प्रभावशाली क्यों न दिखें। HM Treasury की Magenta Book एक विश्वसनीय काउंटरफ़ैक्चुअल बनाने को प्रभाव-मूल्यांकन का केंद्रीय पद्धतिगत कार्य मानती है, किसी भी अन्य एकल डिज़ाइन-निर्णय से अधिक महत्वपूर्ण।

यह क्यों महत्वपूर्ण है

"कार्यक्रम शुरू करने के एक वर्ष बाद अपराध में 15% की कमी आई" यह प्रमाण नहीं है कि कार्यक्रम ने काम किया, जब तक आप यह न जानें कि इसके बिना अपराध का क्या होता — असंबंधित आर्थिक या जनसांख्यिकीय प्रवृत्तियों के कारण अपराध वैसे भी 20% गिर सकता था, जिसका अर्थ है कि कार्यक्रम ने काउंटरफ़ैक्चुअल के सापेक्ष चीज़ों को वास्तव में बदतर बना दिया, भले ही कच्ची संख्या में सुधार हुआ हो। यह सार्वजनिक-क्षेत्र और सामाजिक-क्षेत्र प्रभाव-दावों में सबसे आम विश्लेषणात्मक त्रुटि है: पहले/बाद की तुलना को कार्य-कारण (causation) के प्रमाण के रूप में ग़लत समझना। Magenta Book स्पष्ट रूप से कहती है कि प्रभाव-मूल्यांकन एक काउंटरफ़ैक्चुअल प्रश्न का उत्तर देने के लिए मौजूद है — "इस हस्तक्षेप ने क्या अंतर पैदा किया?" — और इसका उत्तर देने के लिए न होने वाली दुनिया का केवल वर्णन नहीं, बल्कि अनुमान चाहिए।

अलग-अलग विधियाँ काउंटरफ़ैक्चुअल को अलग-अलग स्तर के विश्वास के साथ बनाती हैं, और सरकारी मूल्यांकन मार्गदर्शन तदनुसार इनकी रैंकिंग करता है। यादृच्छिक नियंत्रित परीक्षण (RCT), जिनमें व्यक्तियों या क्षेत्रों को यादृच्छिक रूप से किसी हस्तक्षेप को प्राप्त करने या न करने के लिए असाइन किया जाता है, सबसे मज़बूत काउंटरफ़ैक्चुअल उत्पन्न करते हैं क्योंकि यादृच्छिकीकरण यह सुनिश्चित करता है कि उपचार और नियंत्रण समूह औसतन केवल हस्तक्षेप प्राप्त करने में भिन्न हैं। Cabinet Office और What Works नेटवर्क ने 2012 की Behavioural Insights Team की "Test, Learn, Adapt" रिपोर्ट के बाद से यूके सार्वजनिक नीति में RCT को बढ़ावा दिया है, ठीक इसीलिए क्योंकि कमज़ोर डिज़ाइन कंफ़ाउंडिंग के प्रति संवेदनशील होते हैं — देखा गया अंतर यह दर्शा सकता है कि किसने भाग लेना चुना, न कि कार्यक्रम का प्रभाव। जहाँ यादृच्छिकीकरण अव्यावहारिक या अनैतिक है (जैसा कि अक्सर क़ानूनी हक़दारी वाले कार्यक्रमों या संपूर्ण-जनसंख्या नीति-परिवर्तनों के लिए होता है), Magenta Book कमज़ोर लेकिन फिर भी उपयोगी विकल्पों का एक स्पष्ट पदानुक्रम निर्धारित करती है: मिलान (matched) तुलना समूह, अंतर-में-अंतर (difference-in-differences) डिज़ाइन, पात्रता-सीमाओं के आसपास रिग्रेशन डिस्कॉन्टिन्युटी, और अंतिम उपाय के रूप में, साधारण पहले/बाद तुलना — जिसे स्पष्ट रूप से साक्ष्य के सबसे कमज़ोर रूप के रूप में फ़्लैग किया गया है, जो कार्यक्रम के प्रभाव को उसी समय बदली हर अन्य चीज़ के प्रभाव से भ्रमित करने के प्रति संवेदनशील है।

गणितीय आधार

सभी विधियों पर लागू काउंटरफ़ैक्चुअल ढाँचा:

Estimated impact = Outcome(with intervention) − Outcome(counterfactual: without intervention)

NOT:
Estimated impact ≠ Outcome(after) − Outcome(before)   [confounds time with treatment]

अंतर-में-अंतर, सरकारी मूल्यांकन में सबसे आम अर्ध-प्रायोगिक डिज़ाइनों में से एक, तुलना समूह के अपने पहले/बाद परिवर्तन को घटाकर उपचार-प्रभाव को अलग करता है:

DiD estimate = [Outcome(treated, after) − Outcome(treated, before)]
             − [Outcome(comparison, after) − Outcome(comparison, before)]

यह दोनों समूहों में समान किसी भी प्रवृत्ति को हटा देता है (जैसे सभी को प्रभावित करने वाला एक राष्ट्रीय आर्थिक बदलाव), केवल हस्तक्षेप के लिए ज़िम्मेदार विभेदक परिवर्तन को छोड़ते हुए।

व्यावहारिक उदाहरण

रोज़गार कार्यक्रम, पहले/बाद (कमज़ोर डिज़ाइन): एक नौकरी-सहायता योजना रिपोर्ट करती है कि प्रतिभागी रोज़गार एक वर्ष में 40% से बढ़कर 55% हो गया — एक भोला निष्कर्ष "कार्यक्रम के कारण +15 प्रतिशत-बिंदु।"

वही कार्यक्रम, अंतर-में-अंतर (मज़बूत डिज़ाइन): उसी स्थानीय श्रम-बाज़ार से लिए गए समान ग़ैर-प्रतिभागियों के एक मिलान तुलना समूह में उसी वर्ष रोज़गार 38% से बढ़कर 47% हो गया दिखाया गया (एक राष्ट्रीय आर्थिक सुधार चल रहा था)।

Treated group change:    55% − 40% = +15 percentage points
Comparison group change: 47% − 38% = +9 percentage points

DiD estimate (true programme effect) = 15 − 9 = +6 percentage points

ईमानदार श्रेय-योग्य प्रभाव 15 नहीं, 6 प्रतिशत-बिंदु है — दिखने वाले पहले/बाद सुधार का आधे से अधिक भाग कार्यक्रम की परवाह किए बिना होता, उसी आर्थिक सुधार के कारण जो तुलना समूह को भी ऊपर उठा रहा था।

रिग्रेशन डिस्कॉन्टिन्युटी, पात्रता-सीमा: एक अनुदान योजना केवल 50 से कम कर्मचारियों वाले व्यवसायों के लिए उपलब्ध है। सीमा से ठीक नीचे (45–49 कर्मचारी, पात्र) के व्यवसायों के परिणामों की सीमा से ठीक ऊपर (50–54 कर्मचारी, अपात्र) के व्यवसायों से तुलना एक विश्वसनीय काउंटरफ़ैक्चुअल प्रदान करती है क्योंकि एक मनमानी प्रशासनिक कट-ऑफ़ के दोनों ओर के व्यवसाय अन्यथा समान होते हैं — पात्रता किसी अंतर्निहित व्यवसाय-विशेषता से नहीं, बल्कि सीमा से तय होती है। दोनों समूहों के बीच केवल सीमा पर देखा गया £2,000 का औसत परिणाम-अंतर, सभी पात्र बनाम सभी अपात्र व्यवसायों (जो आकार में व्यवस्थित रूप से भिन्न हैं) की साधारण तुलना से कहीं अधिक विश्वास के साथ अनुदान को श्रेय दिया जा सकता है।

सॉफ़्टवेयर इंजीनियरिंग से संबंध

काउंटरफ़ैक्चुअल सोच को इस बात को आकार देना चाहिए कि सरकार और सामाजिक-क्षेत्र सॉफ़्टवेयर के लिए प्रभाव-ट्रैकिंग प्रणालियाँ और मूल्यांकन पाइपलाइन कैसे डिज़ाइन की जाती हैं:

  • शुरुआत से ही किसी प्रणाली में तुलना-समूह कैप्चर को बनाएँ — यह रिकॉर्ड करना कि कौन पात्र था लेकिन नामांकित नहीं हुआ, या एक मिलान ग़ैर-प्रतिभागी समूह — न कि किसी कार्यक्रम के चलने के बाद इसे बाद में जोड़ना जब केवल पहले/बाद का डेटा मौजूद हो।
  • जहाँ यादृच्छिकीकरण व्यावहारिक हो (एक चरणबद्ध रोलआउट, कुछ उपयोगकर्ताओं के लिए दूसरों से पहले सक्षम की गई एक डिजिटल सेवा), प्रणाली को यादृच्छिक असाइनमेंट को एक क्वेरी-योग्य फ़ील्ड के रूप में संरक्षित करने के लिए इंस्ट्रूमेंट करें; यदि असाइनमेंट-क्रम लॉग नहीं किया जाता तो एक चरणबद्ध रोलआउट दुर्घटनावश अपना ही मूल्यांकन-मूल्य नष्ट कर देता है।
  • यह वह आधारभूत विधि है जो प्रभाव मूल्यांकन विधियाँ के पीछे है और यही वह चीज़ है जो इसे प्रभाव मूल्यांकन बनाम प्रक्रिया मूल्यांकन से अलग करती है, जो यह पूछता है कि क्या कोई कार्यक्रम इच्छित रूप से डिलीवर किया गया, न कि क्या इसने कोई प्रभाव उत्पन्न किया।
  • अतिरिक्तता और डेडवेट और विस्थापन और आरोपण दोनों, मूल रूप से, काउंटरफ़ैक्चुअल प्रश्न हैं — डेडवेट है "इस विशिष्ट परिणाम का हस्तक्षेप के बिना क्या होता", जिसे पूर्ण मूल्यांकन-डिज़ाइन के बजाय समायोजन के स्तर पर लागू किया जाता है।

सामान्य त्रुटियाँ

  • पहले/बाद को कार्य-कारण के प्रमाण के रूप में मानना। यह सार्वजनिक और सामाजिक-क्षेत्र प्रभाव-रिपोर्टिंग में सबसे आम और सबसे परिणामकारी त्रुटि है; एक पहले/बाद परिवर्तन कार्यक्रम के प्रभाव को उसी अवधि में बदली हर अन्य चीज़ के साथ भ्रमित करता है।
  • ऐसे तुलना-समूह का उपयोग करना जो उपचारित समूह से व्यवस्थित रूप से भिन्न है। एक मिलान तुलना-समूह प्रासंगिक विशेषताओं पर वास्तव में समान होना चाहिए (Magenta Book में काउंटरफ़ैक्चुअल विश्लेषण विधि-पदानुक्रम देखें); कार्यक्रम प्रतिभागियों (जिन्होंने ऑप्ट-इन किया, और अक्सर अधिक प्रेरित होते हैं) की ग़ैर-प्रतिभागियों (जिन्होंने नहीं किया) से तुलना करने से चयन-पूर्वाग्रह कार्यक्रम-प्रभाव के रूप में सामने आने का जोख़िम रहता है।
  • ख़राब डिलीवरी-डिज़ाइन से यादृच्छिकीकरण के अवसर नष्ट करना। एक चरणबद्ध या यादृच्छिक रोलआउट अपना मूल्यांकन-मूल्य तभी संरक्षित रखता है जब असाइनमेंट वास्तव में यादृच्छिक हो और दर्ज किया गया हो — स्थानीय प्रबंधकों को यह चुनने देना कि कौन पहले जाएगा, उद्देश्य को विफल कर देता है।
  • कमज़ोर डिज़ाइन से अधिक सटीकता का दावा करना। एक पहले/बाद अनुमान को एक संकेतात्मक के रूप में प्रस्तुत किया जाना चाहिए, न कि एक मापे गए प्रभाव-आकार के रूप में; Magenta Book का साक्ष्य-पदानुक्रम इसीलिए मौजूद है ताकि दावे की मज़बूती उसे उत्पन्न करने वाले डिज़ाइन की मज़बूती से मेल खाए।

स्रोत

  • HM Treasury, "The Magenta Book: Central Government Guidance on Evaluation" (2020), and its supplementary guide on quasi-experimental methods. https://www.gov.uk/government/publications/the-magenta-book
  • Cabinet Office / Behavioural Insights Team, "Test, Learn, Adapt: Developing Public Policy with Randomized Controlled Trials" (2012).
  • What Works Network, standards of evidence guidance. https://www.gov.uk/guidance/what-works-network
  • Angrist JD, Pischke J-S. Mostly Harmless Econometrics: An Empiricist's Companion. Princeton University Press, 2009 (standard reference for difference-in-differences and regression discontinuity methods).