Tem 8 a 64· Selyow talvedh poblek

Dhivyskans Konterfaktek

Konterfaktek yw estymyans a'n pyth a wrussa hwarvos heb ynterventyans. Hebdho, chanj gwelys wosa dalleth towlen ny yll bos dyskwedhys dhiworth chanj a wrussa hwarvos dre vyth — heb konterfaktek, heb dustuni a effeyth, kyn fo an niverow kyns-ha-wosa kemmyn fest. Lyver Magenta HM Treasury a dresta byldya konterfaktek kredus avel an ober fordhuyans pennhweth a evaluyans impakt, a vern moy es pub unn dewis dhesein arall.

Perag y talvos

"Kriga a goedhas 15% y'n bledhen wosa dalleth an towlen" nyns yw dustuni bos an towlen ow oberya marnas mar godhvydhyn pyth a wrussa hwarvos dhe'n kriga hebdho — kriga a ylli koedha 20% dre vyth drefen tendyansow ekonomek po demografek dianedhek, hag yn kas na wrug an towlen dasvewnans moy, dhe'n konterfaktek, kyn fo an niver krev gwellhes. Hemma yw an gwall analytyk moyha kemmyn yn dewisow impakt an rann poblek ha sokel: kemmesk keskomparyans kyns/wosa gans dustuni a gawsyans. Lyver Magenta a wra yn splann: evaluyans impakt a vew dhe worthyp govynn konterfaktek — "pyth o an dhiffer a wrug an ynterventyans ma?" — ha gorthyp dhodho a erghy estymya, ha nyns hepken deskrivya, an bys na wrug hwarvos.

Fordhow dihaval a vyld an konterfaktek gans nivelow dihaval a fydhyans, ha gidyans evaluyans gwarnans a'ga renk herwydh henna. Prevyansow kontrollys randomys (RCTs), may fo unnik po ranndiryow assyndys yn randomys dhe dhegemmeres po na ynterventyans, a wra an konterfaktek moyha nerthek drefen bos randomya ow sewrhe bos an bagasow trettyans ha kontrol ow dhiffera, yn kres, hepken yn degemmeres an ynterventyans. Cabinet Office ha'n Rosweyth What Works a hevelsys RCTs dres polisi poblek an Rywvaneth Unys dhia rapport "Test, Learn, Adapt" an Behavioural Insights Team 2012, pur drefen bos dhesein wannhes dhisgudhys dhe gonfowndya — an dhiffer gwelys a yll diskwedhes pyw a dhewisas kesrannya, ha nyns effeyth an towlen. Le may fo randomya hweth anyes po anewn (dell yw yn aswonnys rag towlennow gans gwir statudel, po rag chanjyow polisi poblans hollek), Lyver Magenta a worr herwydh renkyans splann dewisow wannhes mes hweth dhe-les: bagasow keskomparyans kesplegys, dhesein differ-yn-differ, diskontinuita regresyon a-dro dhe drosglennow gwir, ha, avel wir-diwedh, keskomparyans syml kyns/wosa — merkys yn splann avel an furv dustuni gwanna, dhisgudhys dhe gemmeskya effeyth an towlen gans effeyth pub tra arall a dreylyas y'n keth termyn.

An matematik

An framweyth konterfaktek, devnydhadow dres oll an fordhow:

Impakt estymys = Sewyans(gans ynterventyans) − Sewyans(konterfaktek: heb ynterventyans)

NA:
Impakt estymys ≠ Sewyans(wosa) − Sewyans(kyns)   [kemmysk termyn gans trettyans]

Differ-yn-differ, unn a'n dhesein kwasi-arbrofel moyha kemmyn yn evaluyans gwarnans, a dhispart effeyth an trettyans dre dennewgh chanj kyns/wosa bagas keskomparyans y honan:

Estymyans DiD = [Sewyans(trettys, wosa) − Sewyans(trettys, kyns)]
              − [Sewyans(keskomparyans, wosa) − Sewyans(keskomparyans, kyns)]

Hemma a dhenn pub tendyans kemmyn dhe'n dhew vagas (dhe ensampel chanj ekonomek kenedhlek a dhegyn pubonan), ow asa hepken an chanj dispartyus a dhel dhe'n ynterventyans.

Ensampel oberys

Towlen gweythysans, kyns/wosa (dhesein gwann): skema skoodh gweyth a rapport bos gweythysans an kesrannoryon ow sevel dhiworth 40% dhe 55% dres bledhen — konkludyans dhiskonvedhek "+15 poynt kevrann drefen an towlen."

An keth towlen, differ-yn-differ (dhesein nerthekka): bagas keskomparyans kesplegys a dhre-kesrannoryon haval, tennys dhiworth an keth marghas lavur leel, a dhiskwedh gweythysans ow sevel dhiworth 38% dhe 47% dres an keth bledhen (dasvewnans ekonomek kenedhlek a veu ow mos yn rag).

Chanj bagas trettys:       55% − 40% = +15 poynt kevrann
Chanj bagas keskomparyans: 47% − 38% = +9 poynt kevrann

Estymyans DiD (ynwir effeyth an towlen) = 15 − 9 = +6 poynt kevrann

An effeyth attributadow onest yw 6 poynt kevrann, ha nyns 15 — moy es hanter an gwellheans kyns/wosa dhiskwedhys a wrussa hwarvos heb an towlen, drivys gans an keth dasvewnans ekonomek ow sevel an bagas keskomparyans.

Diskontinuita regresyon, trosglenn dhelehek: skema grant yw a-dro dhe negysyow gans nebes es 50 oberyer hepken. Keskomparyans a sewyansow rag negysyow ogas dann an drosglenn (45–49 oberyer, dhelehek) erbyn negysyow ogas a-ugh (50–54 oberyer, na-dhelehek) a ro konterfaktek kredus drefen bos negysyow war dhew denewen a dhisklesya sewyth arbennik dhe weth haval aral — an drosglenn, ha nyns karaktar negys vyth, a dhelyr dhelehegneth. Dhiffer sewyans kres a £2,000 ynter an dhew vagas, gwelys hepken orth an drosglenn, yw attributadow dhe'n grant gans fydhyans meur moy es keskomparyans syml a bub negys dhelehek erbyn pub negys na-dhelehek (a dhiffer yn systematek yn mens).

Kevrenn gans ynjynnerieth medhelweyth

Medhegieth konterfaktek a dal furvya fatel vo systemow holya impakt ha pipelines evaluyans rag medhelweyth gwarnans ha sektor sokel dhesyghnys:

  • Byldyewgh kuntell bagas keskomparyans y'n system dhiworth an dalleth — ow rekordya piw o dhelehek mes na-ynskrifys, po bagas keskomparyans kesplegys — ha nyns ow dhasgulyas wosa bos an towlen ruth hag yth eus data kyns/wosa hepken.
  • Le may fo randomya posybyl (dasvewnans dre gamow, servis didjital galosys rag nebes devnydhyoryon kyns erel), instrumentewgh an system dhe witha handell randomys avel fildys govynnadow; dasvewnans dre gamow a dhistrui y honan ynnos evaluyans mar ny vo an ordyr handell logyes.
  • Hemma yw an fordh sylwek a-dryv fordhow evaluyans impakt hag yw an pyth a'n dispart dhiworth evaluyans impakt erbyn evaluyans fordh, a wovyn orth an diwettha mar pe an towlen delivrys avel intendys hag nyns mar pe hi a dhrehedhas effeyth.
  • Additivans ha pols marow ha displasyans ha attributyans yw, orth an woryn, govynnow konterfaktek — pols marow yw "pyth a wrussa bos an sewyans spesifek ma heb ynterventyans", devnydhys orth nivel alhwedh ha nyns dhesein evaluyans leun.

Trapow

  • Trettya kyns/wosa avel dustuni a gawsyans. Hemma yw an gwall moyha kemmyn ha moyha pwysek yn rapportya impakt an rann poblek ha sokel; chanj kyns/wosa a gemmysk effeyth an towlen gans pub tra arall a dreylyas dres an keth termyn.
  • Devnydhya bagas keskomparyans a dhiffer yn systematek dhiworth an bagas trettys. Bagas keskomparyans kesplegys a dal bos yn gwir haval war dhesklesyow wordhi (gwelewgh herarchieth fordhow dhivyskans konterfaktek yn Lyver Magenta); keskomparya kesrannoryon an towlen (a worras aga hanow, ha yw yn aswonnys moy dhrivys) erbyn na-gesrannoryon (na wrug) a beryl bias dewisans ow gwiskas avel effeyth towlen.
  • Dhistrui chonsys randomya dre dhesein delivrans pan. Dasvewnans dre gamow po randomys a witha y wordh evaluyans hepken mar pe handell yn gwir randomys ha rekordys — gasa menystrysyow leel dhe dhewis piw a ev kynsa a dhorr an porpos.
  • Hawlya an manylder re a dhesein gwann. Estymyans kyns/wosa a dal bos dhiskwedhys avel sin, ha nyns avel mens effeyth musurys; herarchieth dustuni Lyver Magenta a vew may hevel nerth hawl orth nerth an dhesein a'n dhrehedhas.

Fentynyow

  • HM Treasury, "The Magenta Book: Central Government Guidance on Evaluation" (2020), and its supplementary guide on quasi-experimental methods. https://www.gov.uk/government/publications/the-magenta-book
  • Cabinet Office / Behavioural Insights Team, "Test, Learn, Adapt: Developing Public Policy with Randomized Controlled Trials" (2012).
  • What Works Network, standards of evidence guidance. https://www.gov.uk/guidance/what-works-network
  • Angrist JD, Pischke J-S. Mostly Harmless Econometrics: An Empiricist's Companion. Princeton University Press, 2009 (standard reference for difference-in-differences and regression discontinuity methods).