Thema 20 vu 64· Sozialwäert a Wierkungsmiessung

Outcomes vs. Outputen: Resultater a Leeschtungen ënnerscheeden

En Output ass dat direkt, zielbart Produkt vun enger Aktivitéit – et gëtt et vum Moment un, wou geliwwert gëtt, onofhängeg dovun, wéi eng Wierkung et huet. En Outcome ass d'Verännerung, déi doropper fir d'Mënschen, d'Plaz oder de System erfollegt. „500 Leit hunn un engem Workshop fir d'Aarbechtssich deelgeholl“ ass en Output: dat stëmmt och, wa kee vun hinne Aarbecht fënnt. „D'Beschäftegungsaussiichte vu 500 Leit hu sech verbessert“ ass eng Outcome-Behaaptung, an déi brauch Beweiser fir eng Verännerung, net nëmmen Presenzbeweiser – déi Verwiesselung produzéiert méi irreféierend Rapporte vu Subventioune wéi bal all anere Miessfeeler an dësem Secteur.

Firwat et wichteg ass

D'Magenta Book vum HM Treasury an Finanzéierer wéi den National Lottery Community Fund verlaange spezifesch Outcome-Berichterstattung, well Outputen dat sinn, wat Programmer vun Haus aus mellen: si sinn bëlleg ze zielen, ëmmer disponibel an gesinn ëmmer positiv aus. Eng Output-Zuel ka bokstäblech ni erofgoen, well de Programm feelschléit – méi duerchgefouert Sessioune sinn ëmmer „méi“, wärend en Outcome ka weisen, datt e Programm net fonctionnéiert. D'National Audit Office huet Regierungsprogrammer wiederholl kritiséiert, well se Aktivitéitsniveauen als Beweis fir Erfolleg gemellt hunn; e Softwaresystem, dat et nëmmen einfach mécht, Outputen ze mellen, verstäerkt dat automatesch, well Outputen keng zousätzlech Datesammlung erfuerderen, Outcomes awer scho.

D'Mathematik

Et gëtt keng Formel, mee e verlässlechen Test, fir eng Metrik anzestufen:

Output-Test:  Ass et beim Liwwere zielbar, a wouer, och wann de Beneficiaire net betraff ass?
Outcome-Test: Brauch et en Virun-/Nodeem- oder Mat-/Ouni-Vergläich, fir aussagekräfteg ze sinn?

Wann eng Zuel wouer ka sinn, ouni datt iergendeen e Virdeel dovun huet, ass et en Output.

Dat gehéiert an déi méi breet Kette vum Logikmodell a baséiert op de Outcome-Verbindungen, déi an enger Verännerungstheorie definéiert sinn; fir en Outcome a Geld ëmzerechnen, gi Methoden aus Social Return on Investment benotzt.

Rechebeispill

Lokalbehörd (Beschäftegungsënnerstëtzung): Output – 500 Leit hunn u Workshops fir d'Aarbechtssich deelgeholl. Outcome – beim Suivi no 12 Méint sinn 140 vun dëse 500 (28 %) dauerhaft beschäftegt (6+ Méint). Eng Vergläichsgrupp mat ähnleche Charakteristiken, mä ouni Zougang zum Programm, huet am selwechten Zäitraum eng Basisbeschäftegungsquote vu 15 %. Netto-Outcome-Gewënn: 28 % − 15 % = 13 Prozentpunkten, also sinn geschat 500 × 0,13 = 65 zousätzlech Leit an der Aarbecht, déi soss net do wieren – dat ass den zouzeschreiwenden Outcome, ënnerscheed vun der Zuel vun 500 Participanten an och vun de 140 Beschäftegten brutto.

Charity (Alphabetiséierungs-Charity): Output – 1 200 Liessessiounen u 300 Kanner geliwwert. Outcome – d'Liesalter ass am Duerchschnëtt ëm 8 Méint gestigen iwwer 6 Méint, géint eng erwaart natierlech Entwécklung vu 6 Méint als Basis. Netto-Outcome-Gewënn: 8 − 6 = 2 Méint zousätzlech Verbesserung vum Liesalter pro Kand, dem Programm zouzeschreiwen, net déi ganz 8 Méint.

Verbindung zur Softwareentwécklung

Event-Logs an Transaktiounssystemer instrumentéieren Outputen bal automatesch – Säitenopruff, Sessiounen, zougemaachten Tickets, gebuchte Rendez-vousen – well se vum System generéiert ginn, deen seng Aarbecht mécht. Outcomes brauchen e Datemodell, dat dee selwechten Individuum zu engem spéidere Moment géint eng Basis oder eng Vergläichsgrupp erfaasst, wat bewosst agebaut muss ginn: Suivi-Ëmfroen, verknëppt administrativ Daten oder eng Vergläichskohort. E Berichtsinstrument, dat nëmmen dat éischt ënnerstëtzt, steiert eng Organisatioun roueg Richtung Berichterstattung nëmme mat Outputen, egal wat de Finanzéierer gefrot huet. Kuckt Logikmodell, fir ze gesinn, wou Outcomes an der Rechenschaftskette stinn, Käschte pro Outcome, fir dës Ënnerscheedung an eng Stéckkäschtemetrik ëmzesetzen, an KPIe fir den ëffentleche Secteur fir dat méi breet Muster vun der Metrikauswiel.

Feelerquellen

  • Outputen als Outcomes mellen. „500 Leit hunn deelgeholl“ implizéiert e Virdeel, ouni en ze beweisen; Presenz sollt ausdrécklech als Output bezeechent ginn.
  • Keng Basis oder Vergläichsgrupp. En Outcome-Wert ouni Kontrafaktum – kuckt Analyse vum Kontrafaktum – ka net tëscht der Wierkung vum Programm an deem trennen, wat souwisou geschitt wier.
  • Fir déi finanzéiert Metrik optimiséieren. Wann d'Finanzéierung un de Volumen vun den Outputen gebonne ass, maximéieren Liwwerteams rationalerweis d'Presenz amplaz dauerhaft Verännerung – e Feelermuster nom Goodhart-Gesetz.
  • Outcome-Washing. Eng Output-Metrik mat Outcome-kléngender Sprooch ëmbenennen („Engagement-Outcomes: 500 Participanten“), ouni datt eng Suivi-Miessung dohannert steet.

Quellen