Θέμα 27 από 64· Μετρικές επίδοσης και παράδοσης στην κυβέρνηση

Λογοδοσία βάσει αποτελεσμάτων (OBA)

Η λογοδοσία βάσει αποτελεσμάτων (Outcomes-Based Accountability), γνωστή και ως Results-Based Accountability (RBA), είναι το πλαίσιο του Mark Friedman για τον διαχωρισμό δύο ερωτημάτων που η αναφορά του δημόσιου τομέα συνήθως συγχέει: «πάει καλά ο πληθυσμός;» (πληθυσμιακή λογοδοσία) και «πάει καλά αυτό το συγκεκριμένο πρόγραμμα;» (λογοδοσία επίδοσης). Η σύγχυση των δύο είναι, κατά τον Friedman, ο πιο συνηθισμένος λόγος για τον οποίο καλά διοικούμενα προγράμματα κατηγορούνται για πληθυσμιακές τάσεις που ποτέ δεν είχαν τη δύναμη να κινήσουν.

Γιατί έχει σημασία

Ο Friedman διατύπωσε το πλαίσιο στο Trying Hard Is Not Good Enough (2005), υποστηρίζοντας ότι η περισσότερη δημόσια αναφορά είτε πνίγει τους λήπτες αποφάσεων σε πληθυσμιακού επιπέδου στατιστικά που κανένας φορέας δεν ελέγχει (ποσοστό εφηβικών εγκυμοσύνων, ποσοστό ανεργίας, προσδόκιμο ζωής) είτε τους πνίγει σε μετρήσεις δραστηριότητας σε επίπεδο προγράμματος (πελάτες που εξυπηρετήθηκαν, παραπομπές που έγιναν) που δεν λένε τίποτα για το αν η ζωή κάποιου βελτιώθηκε. Η συνεισφορά του RBA είναι ένα μικρό, πειθαρχημένο λεξιλόγιο που κρατά τα δύο χωριστά: τα πληθυσμιακά αποτελέσματα (συνθήκες ευημερίας για έναν ολόκληρο πληθυσμό, όπως «τα παιδιά γεννιούνται υγιή») δεν ανήκουν σε κανέναν μεμονωμένο φορέα και απαιτούν πολλούς εταίρους να κινούνται μαζί· τα μέτρα επίδοσης (πόσο καλά εξυπηρετεί ένα συγκεκριμένο πρόγραμμα τους συγκεκριμένους πελάτες του) ανήκουν σε έναν φορέα και πρέπει να κρίνονται μόνο έναντι όσων ο φορέας αυτός μπορεί πράγματι να επηρεάσει. Τα «τρία ερωτήματα επίδοσης» του Friedman — πόσο κάναμε, πόσο καλά το κάναμε, και είναι κάποιος καλύτερα; — είναι πλέον ενσωματωμένα στις συμβάσεις υπηρεσιών ανθρώπινου δυναμικού σε επίπεδο κρατών και κομητειών των ΗΠΑ και, μέσω της συμβουλευτικής και εργαλειοθήκης Clear Impact που ευθυγραμμίζεται με το RBA, χρησιμοποιούνται ευρέως στην ανάθεση υπηρεσιών τοπικής αυτοδιοίκησης στο ΗΒ και τη Βρετανική Κοινοπολιτεία. Το διακύβευμα είναι συμβατικό: ένα πρόγραμμα στέγασης δεν πρέπει να αποχρηματοδοτηθεί επειδή το ποσοστό των αστέγων της πόλης αυξήθηκε από μακροοικονομικές αιτίες εκτός της εμβέλειάς του, αλλά οπωσδήποτε πρέπει να αποχρηματοδοτηθεί αν οι δικοί του πελάτες δεν στεγάζονται.

Τα μαθηματικά

Πληθυσμιακή λογοδοσία (η «μεγάλη εικόνα» που μοιράζεται μια κοινότητα, περιφέρεια ή έθνος):
  Αποτέλεσμα   — μια συνθήκη ευημερίας (π.χ. «οι κάτοικοι είναι οικονομικά ασφαλείς»)
  Δείκτης(ες)  — ένα μέτρο αυτής της συνθήκης (π.χ. ποσοστό ανεργίας, διάμεσο εισόδημα νοικοκυριού)
  → κανένα μεμονωμένο πρόγραμμα δεν κατέχει τον δείκτη· η κίνησή του απαιτεί πολλούς συνεισφέροντες

Λογοδοσία επίδοσης (ό,τι ευθύνεται ένα πρόγραμμα):
  Πόσο κάναμε;       — όγκος δραστηριότητας (πελάτες που εξυπηρετήθηκαν, μονάδες που παραδόθηκαν)
  Πόσο καλά το κάναμε; — ποιότητα/αποδοτικότητα (% που ολοκλήρωσαν το πρόγραμμα, κόστος ανά πελάτη)
  Είναι κάποιος καλύτερα; — το αποτέλεσμα που μετράει (% σε απασχόληση 6 μήνες μετά το
                            πρόγραμμα, πριν/μετά ή έναντι ομάδας σύγκρισης)

Ένα πρόγραμμα κρίνεται στο τρίτο ερώτημα επίδοσης, ποτέ απευθείας στον πληθυσμιακό
δείκτη, εκτός αν η κλίμακα και ο σχεδιασμός του θα μπορούσαν εύλογα να τον κινήσουν μόνα τους.

Επεξεργασμένο παράδειγμα

Πρόγραμμα υποστήριξης απασχόλησης χρηματοδοτούμενο από πόλη, 500 συμμετέχοντες/έτος, που ανατίθεται από τοπική αρχή υπό πλαίσιο επίδοσης τύπου RBA:

Πληθυσμιακός δείκτης (πλαίσιο, όχι το δελτίο του προγράμματος):
  Ποσοστό ανεργίας της πόλης: 6,2% (από 5,8% το προηγούμενο έτος, λόγω κλεισίματος
  εργοστασίου εκτός του ελέγχου του προγράμματος)

Μέτρα επίδοσης (η πραγματική λογοδοσία του προγράμματος):
  Πόσο:         500 συμμετέχοντες εγγράφηκαν (στόχος 480) — επιτεύχθηκε
  Πόσο καλά:    78% ποσοστό ολοκλήρωσης· κόστος ανά ολοκληρώσαντα = £340.000 / 390 ολοκληρώσαντες ≈ £872
  Καλύτερα:     από 390 ολοκληρώσαντες, 260 σε διαρκή απασχόληση στους 6 μήνες = 66,7%
                έναντι 41% μιας αντιστοιχισμένης ομάδας σύγκρισης (βλ. counterfactual-analysis)

Υπό μια πληθυσμιακή ανάγνωση λογοδοσίας, το πρόγραμμα φαίνεται να αποτυγχάνει — το ποσοστό ανεργίας της πόλης αυξήθηκε επί των ημερών του. Υπό την ανάγνωση λογοδοσίας επίδοσης του RBA, το πρόγραμμα πετυχαίνει: πέτυχε τον στόχο όγκου του, διατήρησε σταθερή ποιότητα και παρήγαγε αποτέλεσμα απασχόλησης 25,7 ποσοστιαίες μονάδες πάνω από μια αντιστοιχισμένη ομάδα σύγκρισης, ενώ ο πληθυσμιακός δείκτης κινήθηκε για λόγους (κλείσιμο εργοστασίου) εξ ολοκλήρου εκτός του ελέγχου του προγράμματος.

Σύνδεση με τη μηχανική λογισμικού

Το RBA αντιστοιχεί άμεσα σε μια οικεία διάκριση SRE: οι πληθυσμιακοί δείκτες είναι σαν επιχειρησιακού επιπέδου μετρικές North Star που καμία μηχανική ομάδα δεν κατέχει από άκρη σε άκρη (έσοδα εταιρείας, μερίδιο αγοράς), ενώ τα μέτρα επίδοσης είναι σαν τα δικά SLO μιας ομάδας — τα πράγματα που οι αποφάσεις σχεδιασμού αυτής της ομάδας κινούν πραγματικά. Ένα ταμπλό που αναφέρει και τα δύο χωρίς να επισημαίνει ποιο είναι ποιο προσκαλεί ακριβώς την εσφαλμένη απόδοση που το RBA χτίστηκε για να αποτρέψει: έναν μηχανικό εφημερίας που κατηγορείται για μια μετρική που ελέγχει μια ομάδα από την οποία εξαρτάται. Όταν αναθέτετε ή χτίζετε εργαλεία αναφοράς για συμβάσεις αποτελεσμάτων, χτίστε την τριάδα «πόσο / πόσο καλά / καλύτερα» ως πεδία πρώτης τάξης, ξεχωριστά φιλτραρίσιμα, αντί για έναν ενιαίο μικτό KPI — είναι η ίδια πειθαρχία με τον διαχωρισμό προπορευόμενων και υστερούντων δεικτών στους δείκτες KPI του δημόσιου τομέα. Το RBA είναι επίσης η λογική λογοδοσίας κάτω από την πληρωμή βάσει αποτελεσμάτων και τα ομόλογα κοινωνικής επίδρασης: μια σύμβαση PbR μπορεί δίκαια να πληρώνει μόνο βάσει του μέτρου επίδοσης «καλύτερα», ποτέ βάσει του πληθυσμιακού δείκτη, εκτός αν η παρέμβαση είναι πράγματι ο κυρίαρχος παράγοντας του.

Παγίδες

  • Η πληρωμή ή τιμωρία ενός προγράμματος βάσει πληθυσμιακού δείκτη που δεν μπορεί να ελέγξει: αυτό είναι το μοναδικό λάθος που το RBA υπάρχει για να αποτρέψει· εντοπίζετε πάντα αν το πρόγραμμα είναι μείζων ή ελάσσων συνεισφέρων στο πληθυσμιακό αποτέλεσμα πριν συνδέσετε συνέπειες.
  • Η αναφορά του «πόσο» σαν να ήταν «καλύτερα»: οι μετρήσεις δραστηριότητας (πελάτες που εξυπηρετήθηκαν) είναι τα ευκολότερα στη συλλογή και τα λιγότερο πληροφοριακά δεδομένα· επιμείνετε ότι το ερώτημα «είναι κάποιος καλύτερα» απαντάται με πραγματικά δεδομένα αποτελεσμάτων, ιδανικά έναντι αντιπαραθετικού (βλ. αντιπαραθετική ανάλυση).
  • Η αντιμετώπιση των δεικτών RBA ως σταθερών για πάντα: η μέθοδος του Friedman είναι ρητά επαναληπτική — κύκλος «δεδομένα, ιστορία, τι λειτουργεί, σχέδιο δράσης» — όχι εφάπαξ άσκηση σχεδιασμού δελτίου βαθμολόγησης.
  • Απουσία ομάδας σύγκρισης για το «καλύτερα»: μια αλλαγή πριν/μετά χωρίς αντιπαραθετικό συγχέει το αποτέλεσμα του προγράμματος με την τάση που θα έδειχνε ούτως ή άλλως ο πληθυσμός.

Πηγές