موضوع 8 از 64· عوامی قدر کی بنیادیں

کاؤنٹرفیکچوئل تجزیہ

کاؤنٹرفیکچوئل کا مطلب یہ تخمینہ ہے کہ کسی مداخلت کی عدم موجودگی میں کیا رونما ہوتا۔ اس کے بغیر، کسی پروگرام کے لانچ ہونے کے بعد مشاہدہ کی گئی تبدیلی کو اس تبدیلی سے الگ نہیں کیا جا سکتا جو بہرحال رونما ہوتی — کوئی کاؤنٹرفیکچوئل نہیں، اثر کا کوئی ثبوت نہیں، چاہے پہلے-اور-بعد کے اعداد کتنے ہی دلکش کیوں نہ نظر آئیں۔ HM Treasury کی Magenta Book ایک معتبر کاؤنٹرفیکچوئل بنانے کو اثر کی تشخیص کا مرکزی طریقہ کار کا کام سمجھتی ہے، جو کسی بھی دوسرے واحد ڈیزائن کے انتخاب سے زیادہ اہم ہے۔

یہ کیوں اہم ہے

"ہمارے پروگرام متعارف کروانے کے سال بعد جرم 15 فیصد کم ہوا" اس بات کا ثبوت نہیں ہے کہ پروگرام نے کام کیا جب تک آپ کو یہ معلوم نہ ہو کہ اس کے بغیر جرم کا کیا ہوتا — جرم بہرحال 20 فیصد کم ہو سکتا تھا غیر متعلقہ اقتصادی یا آبادیاتی رجحانات کی وجہ سے، جس کا مطلب ہے کہ پروگرام نے دراصل کاؤنٹرفیکچوئل کی نسبت چیزوں کو بدتر بنایا، خام عدد بہتر ہونے کے باوجود۔ یہ سرکاری اور سماجی شعبے کے اثر کے دعووں میں سب سے عام تجزیاتی غلطی ہے: پہلے/بعد کے موازنے کو وجہ کے ثبوت کے طور پر غلط سمجھنا۔ Magenta Book واضح ہے کہ اثر کی تشخیص ایک کاؤنٹرفیکچوئل سوال کا جواب دینے کے لیے موجود ہے — "اس مداخلت نے کیا فرق ڈالا؟" — اور اس کا جواب دینے کے لیے اس دنیا کا تخمینہ لگانا ضروری ہے جو رونما نہیں ہوئی، صرف بیان کرنا نہیں۔

مختلف طریقے مختلف درجوں کے اعتماد کے ساتھ کاؤنٹرفیکچوئل بناتے ہیں، اور حکومتی تشخیصی رہنمائی اس کے مطابق انہیں درجہ دیتی ہے۔ بے ترتیب کنٹرول شدہ ٹرائلز (RCTs)، جہاں افراد یا علاقوں کو بے ترتیبی سے مداخلت وصول کرنے یا نہ کرنے کے لیے مختص کیا جاتا ہے، سب سے مضبوط کاؤنٹرفیکچوئل پیدا کرتے ہیں کیونکہ بے ترتیبی یقینی بناتی ہے کہ علاجی اور کنٹرول گروپ اوسطاً صرف مداخلت وصول کرنے میں مختلف ہوں۔ Cabinet Office اور What Works Network نے 2012 کی Behavioural Insights Team کی "Test, Learn, Adapt" رپورٹ کے بعد سے برطانوی عوامی پالیسی بھر میں RCTs کو فروغ دیا ہے، بالکل اس لیے کہ کمزور ڈیزائن گڈمڈ ہونے کا شکار ہوتے ہیں — مشاہدہ شدہ فرق اس بات کی عکاسی کر سکتا ہے کہ کون شامل ہونا چاہتا تھا، نہ کہ پروگرام کے اثر کی۔ جہاں بے ترتیبی عملی طور پر ممکن نہ ہو یا غیر اخلاقی ہو (جیسا کہ اکثر قانونی حق والے پروگراموں یا پوری آبادی کی پالیسی تبدیلیوں کے لیے ہوتا ہے)، Magenta Book کمزور مگر پھر بھی مفید متبادلوں کا واضح درجہ بندی بیان کرتی ہے: موازنہ گروپ کا میچنگ، فرق-در-فرق ڈیزائن، اہلیت کی حدود کے گرد ریگریشن ڈسکنٹینیوٹی، اور، آخری چارہ کار کے طور پر، سادہ پہلے/بعد کا موازنہ — واضح طور پر شواہد کی کمزور ترین شکل کے طور پر نشان زد، جو پروگرام کے اثر کو اسی وقت تبدیل ہونے والی ہر دوسری چیز کے اثر سے خلط ملط کرنے کا شکار ہے۔

ریاضیاتی بنیاد

کاؤنٹرفیکچوئل فریمنگ، تمام طریقوں پر لاگو:

Estimated impact = Outcome(with intervention) − Outcome(counterfactual: without intervention)

NOT:
Estimated impact ≠ Outcome(after) − Outcome(before)   [confounds time with treatment]

فرق-در-فرق، حکومتی تشخیص میں سب سے عام شبہ تجرباتی ڈیزائنوں میں سے ایک، موازنہ گروپ کی اپنی پہلے/بعد کی تبدیلی کو منہا کر کے علاجی اثر کو الگ کرتا ہے:

DiD estimate = [Outcome(treated, after) − Outcome(treated, before)]
             − [Outcome(comparison, after) − Outcome(comparison, before)]

یہ دونوں گروپوں میں مشترک کسی بھی رجحان کو ہٹا دیتا ہے (مثلاً ایک قومی اقتصادی تبدیلی جو سب کو متاثر کرتی ہے)، صرف وہ تفریقی تبدیلی باقی چھوڑتا ہے جو مداخلت سے منسوب کی جا سکتی ہے۔

عملی مثال

روزگار کا پروگرام، پہلے/بعد (کمزور ڈیزائن): ایک ملازمت کی معاونت کی اسکیم رپورٹ کرتی ہے کہ ایک سال میں شرکاء کا روزگار 40 فیصد سے 55 فیصد تک بڑھا — ایک سادہ لوح نتیجہ "پروگرام کی وجہ سے +15 فیصد پوائنٹس"۔

وہی پروگرام، فرق-در-فرق (زیادہ مضبوط ڈیزائن): اسی مقامی لیبر مارکیٹ سے اخذ کردہ اسی طرح کے غیر شرکاء کا ایک موازنہ گروپ اسی سال میں روزگار کو 38 فیصد سے 47 فیصد تک بڑھتا دکھاتا ہے (ایک قومی اقتصادی بحالی جاری تھی)۔

Treated group change:    55% − 40% = +15 percentage points
Comparison group change: 47% − 38% = +9 percentage points

DiD estimate (true programme effect) = 15 − 9 = +6 percentage points

ایماندارانہ طور پر منسوب اثر 6 فیصد پوائنٹس ہے، 15 نہیں — ظاہری پہلے/بعد کی بہتری کا آدھے سے زیادہ حصہ بہرحال رونما ہوتا، اسی اقتصادی بحالی کی وجہ سے جو موازنہ گروپ کو بھی اٹھا رہی تھی۔

ریگریشن ڈسکنٹینیوٹی، اہلیت کی حد: ایک گرانٹ اسکیم صرف 50 سے کم ملازمین والے کاروباروں کے لیے دستیاب ہے۔ حد سے بالکل نیچے (45-49 ملازمین، اہل) کاروباروں کے نتائج کا حد سے بالکل اوپر (50-54 ملازمین، نااہل) کاروباروں سے موازنہ کرنا ایک معتبر کاؤنٹرفیکچوئل فراہم کرتا ہے کیونکہ کسی خودساختہ انتظامی حد کے دونوں طرف کے کاروبار بصورتِ دیگر یکساں ہیں — حد، نہ کہ کوئی بنیادی کاروباری خصوصیت، اہلیت طے کرتی ہے۔ دونوں گروپوں کے درمیان £2,000 کا اوسط نتیجے کا فرق، جو صرف حد پر مشاہدہ کیا گیا، تمام اہل بمقابلہ تمام نااہل کاروباروں کے سادہ موازنے (جو حجم میں منظم طور پر مختلف ہیں) سے کہیں زیادہ اعتماد کے ساتھ گرانٹ سے منسوب کیا جا سکتا ہے۔

سافٹ ویئر انجینئرنگ سے تعلق

کاؤنٹرفیکچوئل سوچ کو یہ تشکیل دینی چاہیے کہ حکومتی اور سماجی شعبے کے سافٹ ویئر کے لیے اثر کی پیروی کرنے والے نظام اور تشخیصی پائپ لائنز کیسے ڈیزائن کی جاتی ہیں:

  • کسی نظام میں شروع سے ہی موازنہ گروپ کی گرفت بنائیں — یہ ریکارڈ کرتے ہوئے کہ کون اہل تھا مگر داخل نہیں ہوا، یا ایک میچ شدہ غیر شریک گروہ — بجائے اس کے کہ پروگرام چلنے کے بعد اسے بعد میں شامل کیا جائے جب صرف پہلے/بعد کا ڈیٹا موجود ہو۔
  • جہاں بے ترتیبی عملی ہو (ایک مرحلہ وار رول آؤٹ، ایک ڈیجیٹل سروس جو کچھ صارفین کے لیے دوسروں سے پہلے فعال کی جائے)، نظام کو اس طرح آلہ کار بنائیں کہ بے ترتیب تفویض کو ایک قابلِ سوال فیلڈ کے طور پر محفوظ رکھے؛ ایک مرحلہ وار رول آؤٹ حادثاتی طور پر اپنی ہی تشخیصی قدر کو تباہ کر دیتا ہے اگر تفویض کی ترتیب لاگ نہ کی جائے۔
  • یہ اثر کی تشخیص کے طریقے کے پیچھے بنیادی طریقہ ہے اور یہی اسے اثر کی تشخیص بمقابلہ عمل کی تشخیص سے الگ کرتا ہے، جو یہ پوچھتا ہے کہ آیا پروگرام مطلوبہ طریقے سے ڈیلیور ہوا نہ کہ آیا اس نے کوئی اثر پیدا کیا۔
  • اضافیت اور ڈیڈویٹ اور نقل مکانی اور انتساب دونوں، بنیادی طور پر، کاؤنٹرفیکچوئل سوالات ہیں — ڈیڈویٹ یہ ہے کہ "یہ مخصوص نتیجہ مداخلت کے بغیر کیا ہوتا"، جو مکمل تشخیصی ڈیزائن کی بجائے موافقت کی سطح پر لاگو ہوتا ہے۔

ممکنہ خامیاں

  • پہلے/بعد کو وجہ کے ثبوت کے طور پر سمجھنا۔ یہ عوامی اور سماجی شعبے کی اثر رپورٹنگ میں سب سے عام اور سب سے نتیجہ خیز غلطی ہے؛ پہلے/بعد کی تبدیلی پروگرام کے اثر کو اسی مدت میں تبدیل ہونے والی ہر دوسری چیز کے ساتھ خلط ملط کرتی ہے۔
  • ایک ایسا موازنہ گروپ استعمال کرنا جو علاجی گروپ سے منظم طور پر مختلف ہو۔ ایک میچ شدہ موازنہ گروپ کو متعلقہ خصوصیات میں حقیقی معنوں میں یکساں ہونا چاہیے (Magenta Book میں کاؤنٹرفیکچوئل تجزیہ کے طریقوں کی درجہ بندی دیکھیں)؛ پروگرام کے شرکاء (جنہوں نے شامل ہونے کا انتخاب کیا، اور اکثر زیادہ متحرک ہوتے ہیں) کا غیر شرکاء (جنہوں نے نہیں کیا) سے موازنہ کرنا انتخاب کے تعصب کو پروگرام کے اثر کے بھیس میں پیش کرنے کا خطرہ رکھتا ہے۔
  • کمزور ڈیلیوری ڈیزائن کے ذریعے بے ترتیبی کے مواقع کو تباہ کرنا۔ ایک مرحلہ وار یا بے ترتیب رول آؤٹ اپنی تشخیصی قدر صرف اسی وقت برقرار رکھتا ہے جب تفویض حقیقی معنوں میں بے ترتیب ہو اور ریکارڈ کی جائے — مقامی منتظمین کو یہ چننے دینا کہ پہلے کون جائے مقصد کو ناکام بنا دیتا ہے۔
  • کمزور ڈیزائن سے زیادہ درستگی کا دعویٰ کرنا۔ ایک پہلے/بعد کا تخمینہ اشارے کے طور پر پیش کیا جانا چاہیے، ناپے گئے اثر کے حجم کے طور پر نہیں؛ Magenta Book کی شواہد کی درجہ بندی اس لیے موجود ہے تاکہ کسی دعوے کی طاقت اسے پیدا کرنے والے ڈیزائن کی طاقت سے میچ کرے۔

ماخذ

  • HM Treasury, "The Magenta Book: Central Government Guidance on Evaluation" (2020), and its supplementary guide on quasi-experimental methods. https://www.gov.uk/government/publications/the-magenta-book
  • Cabinet Office / Behavioural Insights Team, "Test, Learn, Adapt: Developing Public Policy with Randomized Controlled Trials" (2012).
  • What Works Network, standards of evidence guidance. https://www.gov.uk/guidance/what-works-network
  • Angrist JD, Pischke J-S. Mostly Harmless Econometrics: An Empiricist's Companion. Princeton University Press, 2009 (standard reference for difference-in-differences and regression discontinuity methods).