Pwnc 27 o 64· Metrigau perfformiad a chyflenwi llywodraethol

Atebolrwydd yn Seiliedig ar Ganlyniadau (OBA)

Mae Atebolrwydd yn Seiliedig ar Ganlyniadau (OBA), a elwir hefyd yn Results-Based Accountability (RBA), yn fframwaith Mark Friedman ar gyfer gwahanu dau gwestiwn y mae adrodd sector cyhoeddus fel arfer yn eu cymysgu â'i gilydd: "a yw'r boblogaeth yn gwneud yn dda?" (atebolrwydd poblogaeth) ac "a yw'r rhaglen benodol hon yn gwneud yn dda?" (atebolrwydd perfformiad). Cymysgu'r ddau, ym marn Friedman, yw'r rheswm mwyaf cyffredin pam mae rhaglenni sy'n cael eu rhedeg yn dda'n cael eu beio am dueddiadau poblogaeth nad oedd ganddynt erioed y grym i'w symud.

Pam mae hyn yn bwysig

Gosododd Friedman y fframwaith allan yn Trying Hard Is Not Good Enough (2005), gan ddadlau bod y rhan fwyaf o adroddiadau cyhoeddus naill ai'n boddi gwneuthurwyr penderfyniadau mewn ystadegau lefel poblogaeth nad oes gan unrhyw asiantaeth sengl reolaeth drostynt (cyfradd beichiogrwydd yn eu harddegau, cyfradd ddiweithdra, disgwyliad oes) neu'n eu boddi mewn cyfrifon gweithgaredd lefel-rhaglen (cleientiaid a welwyd, atgyfeiriadau a wnaed) nad ydynt yn dweud dim am a wellodd bywyd unrhyw un. Cyfraniad RBA yw geirfa fach, ddisgybledig sy'n cadw'r ddau ar wahân: mae canlyniadau poblogaeth (amodau llesiant ar gyfer poblogaeth gyfan, fel "mae plant yn cael eu geni'n iach") yn perthyn i ddim un asiantaeth sengl ac yn gofyn am nifer o bartneriaid yn symud gyda'i gilydd; mae mesurau perfformiad (pa mor dda mae rhaglen benodol yn gwasanaethu ei chleientiaid penodol) yn perthyn i un asiantaeth a dylid eu barnu yn erbyn yr hyn y gall yr asiantaeth honno ddylanwadu arno mewn gwirionedd yn unig. Mae "tri chwestiwn perfformiad" Friedman — faint wnaethom ni, pa mor dda y gwnaethom ni, ac a yw unrhyw un yn well ei fyd? — bellach wedi'i ymgorffori ar draws contractio gwasanaethau dynol taleithiau a siroedd UDA, ac, drwy'r ymgynghoriaeth a'r pecyn cymorth cyd-fynd ag RBA, Clear Impact, yn cael ei ddefnyddio'n eang mewn comisiynu llywodraeth leol y DU a'r Gymanwlad. Mae'r peryglon ymarferol yn gontractiol: ni ddylai rhaglen dai gael ei dad-ariannu am fod cyfradd digartrefedd y ddinas wedi codi am resymau macro-economaidd y tu hwnt i'w chyrraedd, ond dylid yn bendant ei dad-ariannu os nad yw ei chleientiaid ei hun yn cael eu tai.

Y fathemateg

Atebolrwydd poblogaeth (y "darlun mawr" y mae cymuned, rhanbarth, neu genedl yn ei rannu):
  Canlyniad     — amod llesiant (e.e. "mae trigolion yn ddiogel yn economaidd")
  Dangosydd(ion) — mesur o'r amod hwnnw (e.e. cyfradd ddiweithdra, incwm cyfartalog aelwyd)
  → nid oes un rhaglen sengl yn berchen ar y dangosydd; mae angen nifer o gyfranwyr i'w symud

Atebolrwydd perfformiad (yr hyn y mae un rhaglen yn gyfrifol amdano):
  Faint wnaethom ni?        — cyfaint gweithgaredd (cleientiaid a wasanaethwyd, unedau a gyflenwyd)
  Pa mor dda y gwnaethom ni? — ansawdd/effeithlonrwydd (% yn cwblhau'r rhaglen, cost fesul cleient)
  A yw unrhyw un yn well ei fyd? — y canlyniad sy'n bwysig (% mewn cyflogaeth 6 mis ar ôl y
                                    rhaglen, cyn/ar ôl neu yn erbyn grŵp cymharu)

Barnir rhaglen ar y trydydd cwestiwn perfformiad, byth ar y dangosydd poblogaeth yn uniongyrchol,
oni bai bod ei raddfa a'i chynllun yn gredadwy o allu ei symud ar ei phen ei hun.

Enghraifft waith

Rhaglen cymorth cyflogaeth a ariennir gan ddinas, 500 o gyfranogwyr/blwyddyn, wedi'i chontractio gan awdurdod lleol o dan fframwaith perfformiad ar arddull RBA:

Dangosydd poblogaeth (cyd-destun, nid cerdyn sgorio'r rhaglen):
  Cyfradd ddiweithdra'r ddinas: 6.2% (i fyny o 5.8% y flwyddyn flaenorol, wedi'i yrru gan gau
  ffatri y tu hwnt i reolaeth y rhaglen)

Mesurau perfformiad (atebolrwydd gwirioneddol y rhaglen):
  Faint:        500 o gyfranogwyr wedi'u cofrestru (targed 480) — cyflawnwyd
  Pa mor dda:   cyfradd gwblhau 78%; cost fesul un a gwblhaodd = £340,000 / 390 = tua £872
  Yn well eu byd: o 390 a gwblhaodd, roedd 260 mewn cyflogaeth gynaliadwy ar 6 mis = 66.7%
                  o gymharu â 41% grŵp cymharu cydweddol (gweler dadansoddiad-gwrthffeithiol)

O dan ddarlleniad atebolrwydd poblogaeth, mae'r rhaglen yn edrych fel pe bai'n methu — cododd cyfradd ddiweithdra'r ddinas dan ei goruchwyliaeth. O dan ddarlleniad atebolrwydd perfformiad RBA, mae'r rhaglen yn llwyddo: cyrhaeddodd ei tharged cyfaint, cadwodd ansawdd yn gyson, a chynhyrchodd ganlyniad cyflogaeth 25.7 pwynt canran yn uwch na grŵp cymharu cydweddol, tra bod y dangosydd poblogaeth wedi symud am resymau (cau ffatri) y tu hwnt yn llwyr i reolaeth y rhaglen.

Cysylltiad peirianneg feddalwedd

Mae RBA'n mapio'n uniongyrchol ar wahaniaeth SRE cyfarwydd: mae dangosyddion poblogaeth fel mesurau Seren y Gogledd lefel-busnes nad oes gan unrhyw dîm peirianneg sengl berchnogaeth arnynt o'r naill ben i'r llall (refeniw cwmni, cyfran o'r farchnad), tra bod mesurau perfformiad fel SLOs eu tîm eu hun — y pethau y mae penderfyniadau dylunio'r tîm hwnnw'n eu symud mewn gwirionedd. Mae dangosfwrdd sy'n adrodd y ddau heb labelu p'un yw p'un yn gwahodd yr un camddyrannu'n union yr adeiladwyd RBA i'w atal: peiriannydd ar alwad yn cael ei feio am fesur y mae tîm dibyniaeth yn ei reoli. Wrth gomisiynu neu adeiladu offer adrodd ar gyfer contractau canlyniadau, adeiladwch y triawd "faint / pa mor dda / yn well eu byd" fel meysydd cyntaf-ddosbarth, y gellir eu hidlo ar wahân, yn hytrach na KPI cyfunol sengl — yr un ddisgyblaeth â gwahanu dangosyddion arweiniol ac ôl-arweiniol yn KPIs y sector cyhoeddus. RBA hefyd yw'r rhesymeg atebolrwydd sy'n sail i talu yn ôl canlyniadau a bondiau effaith gymdeithasol: gall contract PbR ond dalu'n deg ar y mesur perfformiad "yn well eu byd," byth ar y dangosydd poblogaeth, oni bai bod yr ymyriad yn wirioneddol yn brif ysgogydd hwnnw.

Peryglon

  • Talu neu gosbi rhaglen yn erbyn dangosydd poblogaeth na all ei reoli: dyma'r un camgymeriad y mae RBA'n bodoli i'w atal; olrheiniwch bob amser a yw'r rhaglen yn gyfrannwr mawr neu fach i'r canlyniad poblogaeth cyn clymu canlyniadau wrtho.
  • Adrodd "faint" fel pe bai'n "well eu byd": cyfrifon gweithgaredd (cleientiaid a welwyd) yw'r data hawsaf i'w gasglu a'r lleiaf gwybodus; mynnwch fod y cwestiwn "a yw unrhyw un yn well ei fyd" yn cael ei ateb â data canlyniad go iawn, yn ddelfrydol yn erbyn gwrthffeithiol (gweler dadansoddiad gwrthffeithiol).
  • Trin dangosyddion RBA fel rhai sefydlog am byth: mae dull Friedman yn benodol ailadroddol — cylch "data, stori, beth sy'n gweithio, cynllun gweithredu" — nid ymarfer dylunio cerdyn sgorio unwaith ac am byth.
  • Dim grŵp cymharu ar gyfer "yn well eu byd": mae newid cyn/ar ôl heb wrthffeithiol yn cymysgu effaith y rhaglen â'r duedd y byddai'r boblogaeth wedi'i dangos beth bynnag.

Ffynonellau