موضوع 24 از 64· سماجی قدر اور اثر کی پیمائش

اثر کی تشخیص بمقابلہ عمل کی تشخیص

اثر کی تشخیص پوچھتی ہے کہ آیا کسی پروگرام نے اپنے مطلوبہ نتائج پیدا کیے۔ عمل کی تشخیص پوچھتی ہے کہ آیا پروگرام دراصل ڈیزائن کے مطابق ڈیلیور کیا گیا — کس کو، کتنی خوراک میں، اور راستے میں کن رکاوٹوں یا سہولت کاروں کے ساتھ۔ یہ مختلف سوالات ہیں جن کے لیے مختلف طریقوں کی ضرورت ہے، اور HM Treasury کی Magenta Book دونوں کو ایک ساتھ حکم دینے کو معیاری عمل سمجھتی ہے، کیونکہ ایک کمزور یا صفر اثر کا نتیجہ اپنے طور پر ناقابلِ تشریح ہے: یہ آپ کو نہیں بتا سکتا کہ آیا پروگرام کا بنیادی نظریہ غلط تھا، یا ایک اچھا نظریہ محض کبھی صحیح طریقے سے ڈیلیور نہیں کیا گیا۔

یہ کیوں اہم ہے

حکومتی تشخیصات نے بار بار کسی پروگرام سے کوئی قابلِ پیمائش اثر نہ ہونا پایا ہے جبکہ یہ سمجھانے کے لیے کوئی عمل کی تشخیص موجود نہیں تھی — کمیشنرز کو "یہ خیال کام نہیں کرتا" (نظریے کی ناکامی) کو "یہ خیال کبھی صحیح طریقے سے آزمایا ہی نہیں گیا" (نفاذ کی ناکامی) سے الگ کرنے کے قابل نہ ہونے دیتے ہوئے۔ پیچیدہ مداخلتوں کی عمل کی تشخیص پر Medical Research Council کی رہنمائی، جو 2015 میں BMJ میں شائع ہوئی اور Magenta Book کے ساتھ وسیع پیمانے پر حوالہ دی جاتی ہے، وفاداری، خوراک، اور رسائی کو ان بنیادی چیزوں کے طور پر باقاعدہ شکل دیتی ہے جنہیں عمل کی تشخیص کو ناپنا چاہیے۔ عمل کی تشخیص کے بغیر اثر کی تشخیص کا حکم دینا اس خطرے کا حامل ہے کہ ایک حقیقی معنوں میں مضبوط پروگرام ڈیزائن کو ترک کر دیا جائے کیونکہ یہ مطلوبہ آبادی کے نصف کو مطلوبہ شدت کے ایک حصے پر ڈیلیور کیا گیا تھا — ایک غلطی جسے روکنے کی بہترین پوزیشن میں ایک سسٹمز بلڈر ہوتا ہے، کیونکہ ڈیلیوری کی وفاداری بالکل وہی چیز ہے جسے آپریشنل ڈیٹا نظام تقریباً حقیقی وقت میں پکڑ سکتے ہیں۔

ریاضیاتی بنیاد

Process evaluation asks:
 - Was it delivered to the target population, at the planned dose/intensity?
 - Did delivery match the logic model / theory of change design?
 - What barriers or facilitators affected delivery?
 Methods: fidelity checks against pre-specified thresholds, case studies, interviews,
          administrative delivery data.

Impact evaluation asks:
 - What changed, and how much of that change is attributable to the programme?
 Methods: RCT, DiD, PSM, RDD — see impact-evaluation-methods — against a counterfactual.

Combined diagnosis:
 No effect  + high fidelity  → theory failure: the model itself did not produce the outcome
 No effect  + low fidelity   → implementation failure: the model was never properly tested
 Effect found + high fidelity → replicate with confidence
 Effect found + low fidelity  → investigate further: the effect may be fragile or site-specific

عملی مثال

مقامی حکومت (پیرنٹنگ پروگرام): فرق-در-فرق استعمال کرتی ایک اثر کی تشخیص بچوں کی فلاح کے پیمانے میں +2 فیصد پوائنٹس کی تبدیلی پاتی ہے — شماریاتی طور پر نمایاں نہیں۔ اس کے ساتھ چلائی گئی عمل کی تشخیص پاتی ہے کہ پروگرام نے صرف ہدف بنائے گئے 500 خاندانوں میں سے 210 تک پہنچ کی (42 فیصد رسائی)، اور ان میں سے، صرف 95 نے 75 فیصد+ نشستوں میں حاضری کی پہلے سے متعین وفاداری کی حد مکمل کی — اصل منصوبہ بند رسائی کا 19 فیصد۔ نتیجہ: کمزور اثر کا نتیجہ ایک نفاذ کی ناکامی کے مطابق ہے، اس بات کا ثبوت نہیں کہ پروگرام ماڈل کام نہیں کرتا؛ مناسب ردعمل ریفرل کے راستے کو ٹھیک کرنا ہے جس نے 58 فیصد کمی کا باعث بنا، پروگرام ڈیزائن کو ترک کرنا نہیں۔

فلاحی ادارہ (ڈیجیٹل خواندگی کا پروگرام): ایک اثر کی تشخیص ایک مضبوط اثر پاتی ہے (ڈیجیٹل اعتماد کے اسکور میں +18 فیصد پوائنٹس)، اور ایک ساتھ چلائی گئی عمل کی تشخیص تمام 12 ڈیلیوری سائٹس پر منصوبہ بند نصاب سے 92 فیصد وفاداری کی تصدیق کرتی ہے۔ مل کر، فنڈر اعتماد کے ساتھ پروگرام کو پیمانہ دے سکتا ہے، کیونکہ اثر مستقل طور پر برقرار رہتا دکھایا گیا ہے، کسی ایک غیر معمولی طور پر اچھی سائٹ کی پیداوار ہونے کی بجائے۔

سافٹ ویئر انجینئرنگ سے تعلق

عمل کی تشخیص کا ڈیٹا بالکل وہی ہے جسے ڈیلیوری نظام پکڑنے کی اچھی پوزیشن میں ہیں: منصوبے کے خلاف حاضری، نشست کی خوراک، اور ریفرل یا اندراج کے فنل کے ہر مرحلے پر کمی — وہی فنل تجزیات جو انجینئرز پہلے سے پروڈکٹ فیچرز کے لیے بناتے ہیں، اس کی بجائے ایک سماجی پروگرام کی ڈیلیوری پائپ لائن پر لاگو کیے جاتے ہیں۔ وفاداری اور رسائی کے میٹرکس کو پروگرام مینیجرز کو تقریباً حقیقی وقت میں پہنچانا، گرانٹ کے اختتام کی تشخیص کا انتظار کرنے کی بجائے، ایک ٹوٹے ہوئے ریفرل راستے کو پروگرام کے دوران ہی ٹھیک کرنے دیتا ہے بجائے اس کے کہ یہ صرف فنڈنگ کی مدت ختم ہونے کے بعد دریافت ہو۔ ان سببی ڈیزائنوں کے لیے جن کے ساتھ عمل کی تشخیص جوڑی جاتی ہے دیکھیں اثر کی تشخیص کے طریقے، اس ڈیزائن کے لیے جس کے خلاف عمل کی تشخیص وفاداری چیک کرتی ہے دیکھیں تبدیلی کا نظریہ اور منطقی ماڈل، اور وعدہ کیے گئے نتائج تک ڈیلیوری کی پیروی کے لیے دیکھیں فوائد کا حصول۔

ممکنہ خامیاں

  • صرف اثر کی تشخیص کا حکم دینا۔ ایک صفر یا کمزور نتیجہ پھر نظریے کی ناکامی یا نفاذ کی ناکامی کے طور پر تشریح نہیں کیا جا سکتا، جو بالکل وہی فرق ہے جو اگلا کیا کرنا ہے یہ فیصلہ کرنے کے لیے اہم ہے۔
  • عمل کی تشخیص کو ایک نرم اضافی چیز سمجھنا۔ اسے اثر کے ڈیزائن جتنی ہی سختی اور پہلے سے متعین وفاداری کے معیار کی ضرورت ہے، ورنہ نتائج آنے پر یہ محض قصے میں بدل جاتی ہے۔
  • "وقت پر اور بجٹ کے اندر" کو "ڈیزائن کے مطابق ڈیلیور کیا گیا" سے خلط ملط کرنا۔ عمل کی تشخیص ماڈل سے وفاداری چیک کرتی ہے — خوراک، ہدف گروہ، مواد — پروجیکٹ مینجمنٹ کی RAG حیثیت نہیں۔
  • وفاداری کی حدود کو پہلے سے رجسٹر نہ کرنا۔ بعد میں یہ فیصلہ کرنا کہ "کافی خوراک" کیا شمار ہوتی ہے کسی مایوس کن اثر کے نتیجے کی کسی بھی وضاحت کو بعد از وقت بہانہ بازی جیسا بنا دیتا ہے۔

ماخذ