Θέμα 25 από 64· Μετρικές επίδοσης και παράδοσης στην κυβέρνηση

Δείκτες KPI του δημόσιου τομέα

Ένας βασικός δείκτης επίδοσης (KPI) είναι ένα επιλεγμένο, παρακολουθούμενο μέτρο που αντιπροσωπεύει το αν μια δημόσια υπηρεσία κάνει καλά τη δουλειά της. Στην κυβέρνηση η επιλογή ενός KPI δεν είναι ποτέ ουδέτερη: επειδή τα KPI συνδέονται με προϋπολογισμούς, πίνακες κατάταξης και σταδιοδρομίες, η πράξη της επιλογής ενός διαμορφώνει τη συμπεριφορά όλων όσων βρίσκονται κατάντη, συχνά περισσότερο από την πολιτική που δημιούργησε την υπηρεσία.

Γιατί έχει σημασία

Η παρατήρηση του Charles Goodhart το 1975 για τη νομισματική πολιτική — που αργότερα διέδωσε η Marilyn Strathern ως «όταν ένα μέτρο γίνεται στόχος, παύει να είναι καλό μέτρο» — είναι η σημαντικότερη προειδοποιητική ετικέτα στη διαχείριση επιδόσεων του δημόσιου τομέα. Ένα KPI που επιλέγεται για να περιγράφει ένα σύστημα αρχίζει να στρεβλώνει αυτό το σύστημα τη στιγμή που οι πόροι, οι μισθοί ή η πολιτική επιβίωση συνδέονται με αυτό. Το κανονικό παράδειγμα είναι οι χρόνοι ανταπόκρισης των ασθενοφόρων του NHS: όταν ο στόχος οκτώ λεπτών για την Κατηγορία Α έγινε δεσμευτικός, αποδείχθηκε ότι ορισμένα trusts «στοίβαζαν» ασθενοφόρα ακριβώς έξω από το ρολόι του χρόνου ανταπόκρισης, ή επαναταξινομούσαν κλήσεις, για να πετύχουν τον αριθμό χωρίς να αλλάξουν τα αποτελέσματα των ασθενών. Ο οδηγός του National Audit Office του ΗΒ για την επιλογή και χρήση δεικτών επίδοσης — που εκτίθεται στις εκθέσεις του για την αξία για τα χρήματα και στα πλαίσια «Performance Measurement by Regulators» και «Choosing the Right FABRIC» (Fit for purpose, Appropriate, Balanced, Robust, Integrated, Cost-effective) — υπάρχει ακριβώς επειδή τα υπουργεία συνέχιζαν να επιλέγουν δείκτες που ήταν εύκολο να αναφερθούν και όχι δείκτες που ήταν δύσκολο να παραποιηθούν. Ένας μηχανικός λογισμικού που παραδίδει το ταμπλό βάσει του οποίου θα κριθεί ένας υπουργός ή διευθυντής σχεδιάζει, είτε το θέλει είτε όχι, τη δομή κινήτρων ενός δημόσιου θεσμού.

Τα μαθηματικά

Ο σχεδιασμός KPI είναι θέμα με μορφή πλαισίου, αλλά η αξιολόγηση ενός υποψήφιου KPI είναι επαναλήψιμη λίστα ελέγχου, όχι τύπος:

Για κάθε υποψήφιο KPI, βαθμολογήστε έναντι:
  Κατάλληλο για τον σκοπό  — μετρά το αποτέλεσμα, ή ένα υποκατάστατο αρκετά βήματα μακριά;
  Σκόπιμο                 — ανήκει σε όσους μπορούν πράγματι να το επηρεάσουν;
  Ισορροπημένο            — είναι ζευγαρωμένο με έναν αντι-δείκτη που πιάνει την παραποίηση;
  Στιβαρό                 — αντέχει σε έλεγχο, ή είναι αυτοαναφερόμενο και ανεπαλήθευτο;
  Ενοποιημένο             — ταιριάζει στο ευρύτερο σύνολο, ή συγκρούεται με άλλο KPI;
  Οικονομικά αποδοτικό    — η συλλογή του κοστίζει περισσότερο από την απόφαση που ενημερώνει;

Διαχωρισμός προπορευόμενων και υστερούντων:
  Προπορευόμενος δείκτης → προβλέπει μελλοντικό αποτέλεσμα, αλλά συχνά παραποιήσιμος
                           (π.χ. κλήσεις που απαντήθηκαν <60δ)
  Υστερούν δείκτης       → επιβεβαιώνει ότι το αποτέλεσμα συνέβη, αλλά φτάνει πολύ αργά για
                           καθοδήγηση (π.χ. ετήσια έρευνα ικανοποίησης)
  Ένα υπερασπίσιμο σύνολο KPI ζευγαρώνει τουλάχιστον έναν από κάθε είδος ανά στόχο.

Επεξεργασμένο παράδειγμα

Trust ασθενοφόρων: ένα trust αναφέρει ένα KPI χρόνου ανταπόκρισης Κατηγορίας Α (απειλητικές για τη ζωή) «75% των κλήσεων απαντήθηκαν εντός 8 λεπτών». Σε ένα τρίμηνο, έρχονται 6.000 κλήσεις Κατηγορίας Α· οι 4.500 πληρούν τα 8 λεπτά, δίνοντας 75,0% — φαινομενικά στον στόχο.

KPI-τίτλος = 4.500 / 6.000 × 100 = 75,0%  (πληροί το όριο 75%)

Αλλά ένας έλεγχος Goodhart προσθέτει έναν αντι-δείκτη: ο μέσος χρόνος ανταπόκρισης για το πιο αργό 10% των κλήσεων.

Μέσος χρόνος ανταπόκρισης πιο αργού δεκατημορίου = 34 λεπτά (από 19 λεπτά δύο έτη νωρίτερα)

Το trust πετυχαίνει τον στόχο ενώ η ουρά — οι κλήσεις που είναι πιο πιθανό να είναι πραγματικά απειλητικές για τη ζωή όταν το τριάζ είναι ατελές — έχει γίνει πολύ χειρότερη, επειδή τα πληρώματα προτεραιοποιούνται προς κλήσεις κοντά στον γκρεμό των 8 λεπτών αντί προς την κλινική επείγουσα ανάγκη. Το μοναδικό KPI έλεγε ψευδή ιστορία· το ζευγαρωμένο KPI έλεγε την αληθινή.

Σύνδεση με τη μηχανική λογισμικού

Οι μηχανικοί που χτίζουν ταμπλό επιδόσεων για την κυβέρνηση σχεδιάζουν, λειτουργικά, το API κινήτρων του οργανισμού. Πρακτικές συνέπειες: εξοπλίστε τον παρονομαστή το ίδιο αυστηρά με τον αριθμητή (ένα KPI που αναφέρεται ως γυμνό ποσοστό προσκαλεί την παραποίηση του παρονομαστή — βλ. κόστος ανά συναλλαγή για την ίδια παγίδα στις ψηφιακές υπηρεσίες)· χτίστε τους αντι-δείκτες στο ίδιο ταμπλό και όχι σε ξεχωριστή αναφορά που κανείς δεν διαβάζει, ώστε η παραποίηση να είναι ορατή στο σημείο της απόφασης· και εκδίδετε εκδόσεις του ορισμού του KPI, επειδή ένας σιωπηλός επαναπροσδιορισμός (αλλαγή του τι μετρά ως «κλήση», «υπόθεση» ή «ολοκλήρωση») ισοδυναμεί λειτουργικά με αλλαγή του στόχου χωρίς ανακοίνωση. Ένα δελτίο βαθμολόγησης δημόσιας αξίας είναι ένας δομημένος τρόπος να αποτραπεί η ανάγνωση ενός μεμονωμένου KPI αποσπασμένα, και η λογοδοσία βάσει αποτελεσμάτων είναι η πειθαρχία της επιλογής πληθυσμιακού επιπέδου KPI που μια ομάδα δεν μπορεί να στρεβλώσει μονομερώς.

Παγίδες

  • Η επιλογή του εύκολου στη συλλογή δείκτη αντί του ουσιαστικού: ο χρόνος απάντησης κλήσης είναι τετριμμένος στην καταγραφή· το αν η κλήση έλυσε το πρόβλημα του πολίτη δεν είναι — αλλά μόνο το δεύτερο είναι το αποτέλεσμα. Αντισταθείτε στην προεπιλογή ό,τι εκπέμπει ήδη το σύστημα.
  • Απουσία αντι-δείκτη: κάθε KPI συνδεδεμένο με χρήματα ή φήμη θα παραποιηθεί στο περιθώριο· παραδώστε το με έναν ζευγαρωμένο δείκτη που πιάνει τον πιθανό φορέα παραποίησης πριν το δημοσιεύσετε.
  • Ο επαναπροσδιορισμός του δείκτη χωρίς αρχείο αλλαγών: η αντικατάσταση των «κλήσεων που ελήφθησαν» με «κλήσεις που απαντήθηκαν» για να κολακευτεί μια τάση καταστρέφει την αξιοπιστία της χρονοσειράς τη στιγμή που ανακαλύπτεται — δημοσιεύετε πάντα αρχείο αλλαγών ορισμών δίπλα στους αριθμούς.
  • Η σύγχυση της δραστηριότητας με το αποτέλεσμα: η καταμέτρηση των επιθεωρήσεων που ολοκληρώθηκαν είναι εκροή· η καταμέτρηση των χώρων που έγιναν συμμορφούμενοι είναι πιο κοντά στο αποτέλεσμα (βλ. αποτελέσματα έναντι εκροών).

Πηγές

  • National Audit Office, «Choosing the Right FABRIC: A Framework for Performance Information.» https://www.nao.org.uk/
  • Marilyn Strathern, «'Improving Ratings': Audit in the British University System,» Social Anthropology, 1997 (η διατύπωση του νόμου του Goodhart όπως παρατίθεται συνήθως).
  • National Audit Office, έρευνες για την αναφορά επιδόσεων της υπηρεσίας ασθενοφόρων του NHS. https://www.nao.org.uk/