বিষয় 24 / 64· সামাজিক মূল্য ও প্রভাব পরিমাপ
প্রভাব মূল্যায়ন বনাম প্রক্রিয়া মূল্যায়ন
প্রভাব মূল্যায়ন জিজ্ঞাসা করে একটি কর্মসূচি তার উদ্দিষ্ট ফলাফল ঘটিয়েছে কি না। প্রক্রিয়া মূল্যায়ন জিজ্ঞাসা করে কর্মসূচিটি প্রকৃতপক্ষে নকশা অনুযায়ী বিতরণ করা হয়েছিল কি না — কার কাছে, কোন মাত্রায়, এবং পথে কী বাধা বা সহায়ক ছিল। এগুলো ভিন্ন পদ্ধতির প্রয়োজন এমন ভিন্ন প্রশ্ন, এবং এইচএম ট্রেজারির ম্যাজেন্টা বুক উভয়কে একসাথে নিয়োগ করাকে স্ট্যান্ডার্ড অনুশীলন হিসেবে গণ্য করে, কারণ একটি দুর্বল বা শূন্য প্রভাব ফলাফল নিজে থেকে ব্যাখ্যাতীত: এটি আপনাকে বলতে পারে না কর্মসূচির অন্তর্নিহিত তত্ত্ব ভুল ছিল, নাকি একটি ভালো তত্ত্ব শুধু কখনো সঠিকভাবে বিতরণ করা হয়নি।
কেন এটি গুরুত্বপূর্ণ
সরকারি মূল্যায়ন বারবার একটি কর্মসূচি থেকে কোনো পরিমাপযোগ্য প্রভাব খুঁজে পায়নি কেন তা ব্যাখ্যা করার জন্য কোনো প্রক্রিয়া মূল্যায়ন ছাড়াই — কমিশনারদের "এই ধারণাটি কাজ করে না" (তত্ত্ব ব্যর্থতা) থেকে "এই ধারণাটি কখনো সঠিকভাবে চেষ্টা করা হয়নি" (বাস্তবায়ন ব্যর্থতা) আলাদা করতে অক্ষম রেখে। জটিল হস্তক্ষেপের প্রক্রিয়া মূল্যায়নের উপর মেডিকেল রিসার্চ কাউন্সিলের নির্দেশিকা, ২০১৫ সালে BMJ-তে প্রকাশিত এবং ম্যাজেন্টা বুকের পাশাপাশি ব্যাপকভাবে উদ্ধৃত, বিশ্বস্ততা, মাত্রা, এবং নাগালকে প্রাতিষ্ঠানিক রূপ দিয়েছে একটি প্রক্রিয়া মূল্যায়নকে অবশ্যই যা পরিমাপ করতে হবে তার মূল বিষয় হিসেবে। প্রক্রিয়া মূল্যায়ন ছাড়া একটি প্রভাব মূল্যায়ন নিয়োগ করা একটি প্রকৃতপক্ষে সঠিক কর্মসূচি নকশা পরিত্যাগ করার ঝুঁকি তৈরি করে কারণ এটি উদ্দিষ্ট জনসংখ্যার অর্ধেকের কাছে উদ্দিষ্ট তীব্রতার একটি ভগ্নাংশে বিতরণ করা হয়েছিল — একটি ভুল যা একটি ব্যবস্থা নির্মাতা প্রতিরোধ করার জন্য ভালো অবস্থানে আছেন, কারণ বিতরণ বিশ্বস্ততা ঠিক তাই যা কার্যক্রমিক তথ্য ব্যবস্থা প্রায়-বাস্তব-সময়ে ধরতে পারে।
গাণিতিক হিসাব
Process evaluation asks:
- Was it delivered to the target population, at the planned dose/intensity?
- Did delivery match the logic model / theory of change design?
- What barriers or facilitators affected delivery?
Methods: fidelity checks against pre-specified thresholds, case studies, interviews,
administrative delivery data.
Impact evaluation asks:
- What changed, and how much of that change is attributable to the programme?
Methods: RCT, DiD, PSM, RDD — see impact-evaluation-methods — against a counterfactual.
Combined diagnosis:
No effect + high fidelity → theory failure: the model itself did not produce the outcome
No effect + low fidelity → implementation failure: the model was never properly tested
Effect found + high fidelity → replicate with confidence
Effect found + low fidelity → investigate further: the effect may be fragile or site-specific
ব্যবহারিক উদাহরণ
স্থানীয় কর্তৃপক্ষ (অভিভাবকত্ব কর্মসূচি): পার্থক্য-মধ্যে-পার্থক্য ব্যবহার করে একটি প্রভাব মূল্যায়ন একটি শিশু মঙ্গল পরিমাপে +২ শতাংশ বিন্দু পরিবর্তন খুঁজে পায় — পরিসংখ্যানগতভাবে উল্লেখযোগ্য নয়। এর সাথে চালানো প্রক্রিয়া মূল্যায়ন দেখে যে কর্মসূচিটি লক্ষ্যযুক্ত ৫০০টি পরিবারের মধ্যে শুধুমাত্র ২১০টিতে পৌঁছেছে (৪২% নাগাল), এবং তাদের মধ্যে, শুধুমাত্র ৯৫টি ৭৫%+ সেশন উপস্থিতির পূর্ব-নির্ধারিত বিশ্বস্ততা সীমা সম্পূর্ণ করেছে — মূল পরিকল্পিত নাগালের ১৯%। সিদ্ধান্ত: দুর্বল প্রভাব ফলাফল একটি বাস্তবায়ন ব্যর্থতার সাথে সামঞ্জস্যপূর্ণ, কর্মসূচি মডেল কাজ করে না তার প্রমাণ নয়; উপযুক্ত প্রতিক্রিয়া হলো ৫৮% ঝরে পড়ার কারণ রেফারেল পথ ঠিক করা, কর্মসূচি নকশা পরিত্যাগ করা নয়।
দাতব্য সংস্থা (ডিজিটাল সাক্ষরতা কর্মসূচি): একটি প্রভাব মূল্যায়ন একটি শক্তিশালী প্রভাব খুঁজে পায় (একটি ডিজিটাল আত্মবিশ্বাস স্কোরে +১৮ শতাংশ বিন্দু), এবং একটি সমান্তরাল প্রক্রিয়া মূল্যায়ন সবগুলো ১২টি বিতরণ সাইট জুড়ে পরিকল্পিত পাঠ্যক্রমের প্রতি ৯২% বিশ্বস্ততা নিশ্চিত করে। একসাথে, অর্থদাতা আত্মবিশ্বাসের সাথে কর্মসূচি স্কেল করতে পারেন, কারণ প্রভাবটি ধারাবাহিকভাবে ধরে রাখা দেখানো হয়েছে একটি অস্বাভাবিকভাবে ভালো সাইটের ফসল হওয়ার পরিবর্তে।
সফটওয়্যার ইঞ্জিনিয়ারিং সংযোগ
প্রক্রিয়া মূল্যায়ন তথ্য ঠিক তাই যা বিতরণ ব্যবস্থা ধরার জন্য ভালো অবস্থানে আছে: পরিকল্পনার বিপরীতে উপস্থিতি, সেশন মাত্রা, এবং একটি রেফারেল বা নথিভুক্তি ফানেলের প্রতিটি পর্যায়ে ঝরে পড়া — একই ফানেল অ্যানালিটিক্স প্রকৌশলীরা ইতিমধ্যে পণ্য বৈশিষ্ট্যের জন্য তৈরি করে, পরিবর্তে একটি সামাজিক কর্মসূচির বিতরণ পাইপলাইনে প্রয়োগ করা। বিশ্বস্ততা ও নাগাল মেট্রিক্স কর্মসূচি ব্যবস্থাপকদের কাছে প্রায়-বাস্তব- সময়ে খাওয়ানো, একটি অনুদান-শেষ মূল্যায়নের জন্য অপেক্ষা না করে, একটি ভাঙা রেফারেল পথকে কর্মসূচির মাঝপথে ঠিক করতে দেয় অর্থায়ন সময়কাল শেষ হওয়ার পরে শুধুমাত্র একবার আবিষ্কৃত হওয়ার পরিবর্তে। প্রক্রিয়া মূল্যায়ন যে কার্যকারণ নকশার সাথে জোড়া লাগানো হয় তার জন্য দেখুন প্রভাব মূল্যায়ন পদ্ধতি, প্রক্রিয়া মূল্যায়ন যে নকশার বিপরীতে বিশ্বস্ততা পরীক্ষা করে তার জন্য দেখুন পরিবর্তনের তত্ত্ব এবং যুক্তি মডেল, এবং প্রতিশ্রুত ফলাফল পর্যন্ত বিতরণ ট্র্যাক করার জন্য দেখুন সুবিধা বাস্তবায়ন।
সাধারণ ভুলত্রুটি
- শুধু প্রভাব মূল্যায়ন নিয়োগ করা। একটি শূন্য বা দুর্বল ফলাফল তখন তত্ত্ব ব্যর্থতা বা বাস্তবায়ন ব্যর্থতা হিসেবে ব্যাখ্যা করা যায় না, যা পরবর্তীতে কী করতে হবে তা সিদ্ধান্ত নেওয়ার জন্য ঠিক সেই পার্থক্য যা গুরুত্বপূর্ণ।
- প্রক্রিয়া মূল্যায়নকে একটি নরম সংযোজন হিসেবে গণ্য করা। এর প্রভাব নকশার মতোই একই কঠোরতা এবং পূর্ব-নির্ধারিত বিশ্বস্ততা মানদণ্ড প্রয়োজন, নয়তো ফলাফল আসার সময় এটি উপাখ্যানে ধসে পড়ে।
- "সময়মতো ও বাজেটের মধ্যে"-কে "নকশা অনুযায়ী বিতরিত"-এর সাথে গুলিয়ে ফেলা। প্রক্রিয়া মূল্যায়ন মডেলের প্রতি বিশ্বস্ততা যাচাই করে — মাত্রা, লক্ষ্য গোষ্ঠী, বিষয়বস্তু — প্রকল্প ব্যবস্থাপনা RAG স্থিতি নয়।
- বিশ্বস্ততা সীমা পূর্ব-নিবন্ধন না করা। ঘটনার পরে "পর্যাপ্ত মাত্রা" কী তা গণ্য করা একটি হতাশাজনক প্রভাব ফলাফলের যেকোনো ব্যাখ্যাকে পশ্চাৎ-অজুহাত-তৈরির মতো দেখায়।
তথ্যসূত্র
- HM Treasury, Magenta Book (2020). https://www.gov.uk/government/publications/the-magenta-book
- Moore G, et al., "Process evaluation of complex interventions: Medical Research Council guidance." BMJ 2015;350:h1258. https://www.bmj.com/content/350/bmj.h1258
- National Audit Office, programme evaluation reports. https://www.nao.org.uk/