ប្រធានបទទី 8 ក្នុងចំណោម 64· មូលដ្ឋានគ្រឹះនៃតម្លៃសាធារណៈ

ការវិភាគ counterfactual

Counterfactual គឺជាការប៉ាន់ស្មានអំពីអ្វីដែលនឹងកើតឡើងនៅពេលគ្មានអន្តរាគមន៍។ បើគ្មានវា ការផ្លាស់ប្តូរដែលបានសង្កេតឃើញក្រោយកម្មវិធីចាប់ផ្តើម មិនអាចបែងចែកពីការផ្លាស់ប្តូរដែលនឹងកើតឡើងដដែលបានទេ គឺគ្មាន counterfactual គ្មានភស្តុតាងនៃឥទ្ធិពល ទោះលេខមុន និងក្រោយមើលទៅគួរឱ្យជឿជាក់ប៉ុនណាក៏ដោយ។ Magenta Book របស់ HM Treasury ចាត់ទុកការកសាង counterfactual ដែលអាចជឿជាក់បានជាកិច្ចការវិធីសាស្ត្រកណ្តាលនៃការវាយតម្លៃផលប៉ះពាល់ ដែលសំខាន់ជាងជម្រើសរចនាតែមួយផ្សេងទៀតណាមួយ។

ហេតុអ្វីបានជាសំខាន់

«ឧក្រិដ្ឋកម្មធ្លាក់ចុះ 15% ក្នុងឆ្នាំក្រោយយើងដាក់ចេញកម្មវិធី» មិនមែនជាភស្តុតាងថាកម្មវិធីដំណើរការទេ លុះត្រាតែអ្នកដឹងថាអ្វីនឹងកើតឡើងចំពោះឧក្រិដ្ឋកម្មបើគ្មានវា ឧក្រិដ្ឋកម្មអាចធ្លាក់ចុះ 20% ដដែល ដោយសារនិន្នាការសេដ្ឋកិច្ច ឬប្រជាសាស្ត្រដែលមិនពាក់ព័ន្ធ ដែលមានន័យថាកម្មវិធីពិតជាធ្វើឱ្យអ្វីៗអាក្រក់ជាងធៀបនឹង counterfactual ទោះលេខដើមប្រសើរឡើងក៏ដោយ។ នេះគឺជាកំហុសវិភាគទូទៅបំផុតក្នុងការអះអាងផលប៉ះពាល់នៃវិស័យសាធារណៈ និងវិស័យសង្គម គឺការច្រឡំការប្រៀបធៀបមុន/ក្រោយជាភស្តុតាងនៃមូលហេតុ។ Magenta Book ចែងយ៉ាងច្បាស់ថា ការវាយតម្លៃផលប៉ះពាល់មានដើម្បីឆ្លើយសំណួរ counterfactual គឺ «តើអន្តរាគមន៍នេះបានធ្វើឱ្យមានភាពខុសគ្នាអ្វី?» ហើយការឆ្លើយវាតម្រូវឱ្យប៉ាន់ស្មាន មិនគ្រាន់តែពណ៌នាពិភពលោកដែលមិនបានកើតឡើង។

វិធីសាស្ត្រផ្សេងគ្នាកសាង counterfactual ដោយកម្រិតទំនុកចិត្តខុសគ្នា ហើយការណែនាំវាយតម្លៃរបស់រដ្ឋាភិបាលចាត់ថ្នាក់វាតាមនោះ។ ការសាកល្បងដោយចៃដន្យមានក្រុមត្រួតពិនិត្យ (RCT) ដែលបុគ្គល ឬតំបន់ត្រូវបានកំណត់ដោយចៃដន្យឱ្យទទួលអន្តរាគមន៍ ឬអត់ បង្កើត counterfactual ខ្លាំងបំផុត ព្រោះការចៃដន្យធានាថាក្រុមព្យាបាល និងក្រុមត្រួតពិនិត្យខុសគ្នា ជាមធ្យម តែក្នុងការទទួលអន្តរាគមន៍ប៉ុណ្ណោះ។ Cabinet Office និង What Works Network បានលើកកម្ពស់ RCT ទូទាំងគោលនយោបាយសាធារណៈចក្រភពអង់គ្លេសតាំងពីរបាយការណ៍ឆ្នាំ 2012 "Test, Learn, Adapt" របស់ Behavioural Insights Team យ៉ាងជាក់លាក់ ព្រោះការរចនាខ្សោយជាងងាយរងការរំខាន (confounding) គឺភាពខុសគ្នាដែលបានសង្កេតអាចឆ្លុះបញ្ចាំងអ្នកណាជ្រើសរើសចូលរួម មិនមែនឥទ្ធិពលនៃកម្មវិធីទេ។ ក្នុងករណីដែលការចៃដន្យមិនអាចអនុវត្តបាន ឬមិនមានសីលធម៌ (ដូចដែលវាញឹកញាប់សម្រាប់កម្មវិធីដែលមានសិទ្ធិតាមច្បាប់ ឬការផ្លាស់ប្តូរគោលនយោបាយទូទាំងប្រជាជន) Magenta Book កំណត់លំដាប់ថ្នាក់ច្បាស់លាស់នៃជម្រើសដែលខ្សោយជាង ប៉ុន្តែនៅតែមានប្រយោជន៍៖ ក្រុមប្រៀបធៀបដែលផ្គូផ្គង ការរចនា difference-in-differences ការមិនបន្តបន្ទាប់នៃតំរែតំរង់ (regression discontinuity) ជុំវិញកម្រិតសិទ្ធិទទួល ហើយជាទីបំផុតគឺការប្រៀបធៀបមុន/ក្រោយសាមញ្ញ ដែលត្រូវបានដាក់ទង់យ៉ាងច្បាស់ថាជាទម្រង់ភស្តុតាងខ្សោយបំផុត ងាយច្រឡំឥទ្ធិពលនៃកម្មវិធីជាមួយឥទ្ធិពលនៃអ្វីៗផ្សេងទៀតដែលបានផ្លាស់ប្តូរក្នុងពេលតែមួយ។

គណិតវិទ្យា

ក្របខណ្ឌ counterfactual ដែលអាចអនុវត្តបានឆ្លងវិធីសាស្ត្រទាំងអស់៖

Estimated impact = Outcome(with intervention) − Outcome(counterfactual: without intervention)

NOT:
Estimated impact ≠ Outcome(after) − Outcome(before)   [confounds time with treatment]

Difference-in-differences ដែលជាការរចនាស្ទើរតែពិសោធន៍ទូទៅបំផុតមួយក្នុងការវាយតម្លៃរបស់រដ្ឋាភិបាល ញែកឥទ្ធិពលព្យាបាលដោយដកការផ្លាស់ប្តូរមុន/ក្រោយរបស់ក្រុមប្រៀបធៀបខ្លួនឯង៖

DiD estimate = [Outcome(treated, after) − Outcome(treated, before)]
             − [Outcome(comparison, after) − Outcome(comparison, before)]

នេះដកនិន្នាការទូទៅចំពោះក្រុមទាំងពីរ (ឧទាហរណ៍ ការផ្លាស់ប្តូរសេដ្ឋកិច្ចជាតិដែលប៉ះពាល់មនុស្សគ្រប់គ្នា) ដោយទុកតែការផ្លាស់ប្តូរផ្សេងគ្នាដែលអាចសន្មតទៅអន្តរាគមន៍។

ឧទាហរណ៍គណនា

កម្មវិធីការងារ មុន/ក្រោយ (ការរចនាខ្សោយ)៖ គម្រោងគាំទ្រការងាររាយការណ៍ថាការងាររបស់អ្នកចូលរួមកើនពី 40% ទៅ 55% ក្នុងរយៈពេលមួយឆ្នាំ ដែលជាសេចក្តីសន្និដ្ឋានឆោតល្ងង់ថា «+15 ពិន្ទុភាគរយដោយសារកម្មវិធី»។

កម្មវិធីដដែល difference-in-differences (ការរចនាខ្លាំងជាង)៖ ក្រុមប្រៀបធៀបដែលផ្គូផ្គងនៃអ្នកមិនចូលរួមស្រដៀងគ្នា ដកស្រង់ពីទីផ្សារការងារមូលដ្ឋានដូចគ្នា បង្ហាញការងារកើនពី 38% ទៅ 47% ក្នុងឆ្នាំដូចគ្នា (ការងើបឡើងវិញផ្នែកសេដ្ឋកិច្ចជាតិកំពុងដំណើរការ)។

Treated group change:    55% − 40% = +15 percentage points
Comparison group change: 47% − 38% = +9 percentage points

DiD estimate (true programme effect) = 15 − 9 = +6 percentage points

ឥទ្ធិពលដែលអាចសន្មតបានដោយស្មោះត្រង់គឺ 6 ពិន្ទុភាគរយ មិនមែន 15 ទេ ដែលច្រើនជាងពាក់កណ្តាលនៃការកែលម្អមុន/ក្រោយច្បាស់ជាក់ស្តែងនឹងកើតឡើងដដែលដោយមិនគិតពីកម្មវិធី ដែលជំរុញដោយការងើបឡើងវិញផ្នែកសេដ្ឋកិច្ចដូចគ្នាដែលលើកក្រុមប្រៀបធៀប។

ការមិនបន្តបន្ទាប់នៃតំរែតំរង់ កម្រិតសិទ្ធិទទួល៖ គម្រោងជំនួយឧបត្ថម្ភមានសម្រាប់តែអាជីវកម្មដែលមានបុគ្គលិកតិចជាង 50 នាក់។ ការប្រៀបធៀបលទ្ធផលសម្រាប់អាជីវកម្មដែលនៅក្រោមកម្រិតបន្តិច (បុគ្គលិក 45–49 មានសិទ្ធិ) ធៀបនឹងអាជីវកម្មដែលនៅលើកម្រិតបន្តិច (បុគ្គលិក 50–54 គ្មានសិទ្ធិ) ផ្តល់ counterfactual ដែលអាចជឿជាក់បាន ព្រោះអាជីវកម្មនៅសងខាងនៃចំណុចកាត់រដ្ឋបាលតាមអំពើចិត្ត ស្រដៀងគ្នានៅទីផ្សេងទៀត ដែលកម្រិតនេះ មិនមែនលក្ខណៈអាជីវកម្មមូលដ្ឋានណាមួយទេ ដែលកំណត់សិទ្ធិទទួល។ ភាពខុសគ្នាលទ្ធផលមធ្យម £2,000 រវាងក្រុមទាំងពីរ ដែលសង្កេតឃើញតែនៅកម្រិត អាចសន្មតទៅជំនួយឧបត្ថម្ភដោយទំនុកចិត្តច្រើនជាងឆ្ងាយ ជាងការប្រៀបធៀបសាមញ្ញនៃអាជីវកម្មមានសិទ្ធិទាំងអស់ ធៀបនឹងអាជីវកម្មគ្មានសិទ្ធិទាំងអស់ (ដែលខុសគ្នាជាប្រព័ន្ធក្នុងទំហំ)។

ទំនាក់ទំនងជាមួយវិស្វកម្មកម្មវិធី

ការគិត counterfactual គួរកំណត់រូបរាងរបៀបរចនាប្រព័ន្ធតាមដានផលប៉ះពាល់ និងបំពង់ការវាយតម្លៃសម្រាប់កម្មវិធីរបស់រដ្ឋាភិបាល និងវិស័យសង្គម៖

  • ដាក់បញ្ចូលការចាប់យកក្រុមប្រៀបធៀបក្នុងប្រព័ន្ធតាំងពីដំបូង គឺកត់ត្រាអ្នកដែលមានសិទ្ធិប៉ុន្តែមិនបានចុះឈ្មោះ ឬក្រុមមិនចូលរួមដែលផ្គូផ្គង ជាជាងបន្ថែមវាក្រោយកម្មវិធីបានដំណើរការរួច ហើយមានតែទិន្នន័យមុន/ក្រោយ។
  • ក្នុងករណីដែលការចៃដន្យអាចធ្វើទៅបាន (ការដាក់ឱ្យប្រើតាមដំណាក់កាល សេវាឌីជីថលដែលបើកសម្រាប់អ្នកប្រើមួយចំនួនមុនអ្នកផ្សេងទៀត) ត្រូវដាក់ឧបករណ៍វាស់ប្រព័ន្ធដើម្បីរក្សាការកំណត់ចៃដន្យជាវាលដែលអាចសាកសួរបាន ព្រោះការដាក់ឱ្យប្រើតាមដំណាក់កាលបំផ្លាញតម្លៃវាយតម្លៃរបស់ខ្លួនដោយចៃដន្យ ប្រសិនបើលំដាប់កំណត់មិនត្រូវបានកត់ត្រា។
  • នេះគឺជាវិធីសាស្ត្រមូលដ្ឋាននៅពីក្រោយ វិធីសាស្ត្រវាយតម្លៃផលប៉ះពាល់ ហើយជាអ្វីដែលញែកវាពី ការវាយតម្លៃផលប៉ះពាល់ ធៀបនឹងការវាយតម្លៃដំណើរការ ដែលក្រោយសួរថាតើកម្មវិធីត្រូវបានផ្តល់ដូចបំណងឬអត់ ជាជាងថាតើវាបង្កឥទ្ធិពលឬអត់។
  • ភាពបន្ថែម និងផលដែលនឹងកើតឡើងដោយខ្លួនឯង និង ការជំនួស និងការសន្មតមូលហេតុ ទាំងពីរជាសំណួរ counterfactual នៅមូលដ្ឋាន ដែល deadweight គឺ «អ្វីដែលលទ្ធផលជាក់លាក់នេះនឹងជា បើគ្មានអន្តរាគមន៍» អនុវត្តនៅកម្រិតនៃការកែតម្រូវ ជាជាងការរចនាវាយតម្លៃពេញលេញ។

កំហុសដែលតែងកើតមាន

  • ការចាត់ទុកមុន/ក្រោយជាភស្តុតាងនៃមូលហេតុ។ នេះគឺជាកំហុសទូទៅបំផុត និងមានផលវិបាកបំផុតក្នុងការរាយការណ៍ផលប៉ះពាល់នៃវិស័យសាធារណៈ និងសង្គម ព្រោះការផ្លាស់ប្តូរមុន/ក្រោយច្រឡំឥទ្ធិពលរបស់កម្មវិធីជាមួយអ្វីៗផ្សេងទៀតទាំងអស់ដែលបានផ្លាស់ប្តូរក្នុងរយៈពេលដូចគ្នា។
  • ការប្រើក្រុមប្រៀបធៀបដែលខុសពីក្រុមព្យាបាលជាប្រព័ន្ធ។ ក្រុមប្រៀបធៀបដែលផ្គូផ្គងត្រូវតែស្រដៀងគ្នាពិតប្រាកដលើលក្ខណៈពាក់ព័ន្ធ (សូមមើលលំដាប់ថ្នាក់វិធីសាស្ត្រក្នុង Magenta Book នៃ ការវិភាគ counterfactual) ព្រោះការប្រៀបធៀបអ្នកចូលរួមកម្មវិធី (ដែលជ្រើសរើសចូលរួម ហើយច្រើនតែមានការជំរុញច្រើនជាង) ជាមួយអ្នកមិនចូលរួម (ដែលមិនបានចូលរួម) ប្រថុយនឹងភាពលំអៀងនៃការជ្រើសរើសដែលក្លែងជាឥទ្ធិពលកម្មវិធី។
  • ការបំផ្លាញឱកាសចៃដន្យតាមរយៈការរចនាការផ្តល់សេវាមិនល្អ។ ការដាក់ឱ្យប្រើតាមដំណាក់កាល ឬចៃដន្យរក្សាតម្លៃវាយតម្លៃរបស់ខ្លួនតែនៅពេលការកំណត់ចៃដន្យពិតប្រាកដ និងត្រូវបានកត់ត្រា ដោយការអនុញ្ញាតឱ្យអ្នកគ្រប់គ្រងមូលដ្ឋានជ្រើសរើសអ្នកណាទៅមុន បំផ្លាញគោលបំណង។
  • ការអះអាងភាពជាក់លាក់លើសពីការរចនាខ្សោយ។ ការប៉ាន់ស្មានមុន/ក្រោយគួរត្រូវបានបង្ហាញជាសូចនាករ មិនមែនជាទំហំឥទ្ធិពលដែលបានវាស់ទេ ព្រោះលំដាប់ថ្នាក់ភស្តុតាងរបស់ Magenta Book មានដើម្បីឱ្យភាពខ្លាំងនៃការអះអាងត្រូវនឹងភាពខ្លាំងនៃការរចនាដែលបង្កើតវា។

ប្រភព

  • HM Treasury, "The Magenta Book: Central Government Guidance on Evaluation" (2020), and its supplementary guide on quasi-experimental methods. https://www.gov.uk/government/publications/the-magenta-book
  • Cabinet Office / Behavioural Insights Team, "Test, Learn, Adapt: Developing Public Policy with Randomized Controlled Trials" (2012).
  • What Works Network, standards of evidence guidance. https://www.gov.uk/guidance/what-works-network
  • Angrist JD, Pischke J-S. Mostly Harmless Econometrics: An Empiricist's Companion. Princeton University Press, 2009 (standard reference for difference-in-differences and regression discontinuity methods).