Θέμα 30 από 64· Μετρικές επίδοσης και παράδοσης στην κυβέρνηση

Μετρικές ικανοποίησης πολιτών

Οι μετρικές ικανοποίησης πολιτών μετρούν πώς αξιολογούν οι άνθρωποι την άμεση εμπειρία τους από μια δημόσια υπηρεσία — διακριτές από τη γενική εμπιστοσύνη στους θεσμούς, και διακριτές από το αν η υπηρεσία πέτυχε πράγματι καλό αποτέλεσμα. Μια υπηρεσία μπορεί να είναι αγαπητή και αναποτελεσματική, ή αποτελεσματική και αντιπαθής· το χάσμα μεταξύ των δύο είναι από μόνο του διαγνωστική πληροφορία που μια ομάδα παράδοσης πρέπει να παρακολουθεί.

Γιατί έχει σημασία

Η ικανοποίηση μετράται σε δύο διαφορετικά ύψη που συγχέονται ρουτινιάρικα. Σε επίπεδο υπηρεσίας, η πλέον συνταξιοδοτημένη Performance Platform του ΗΒ και το σημερινό GOV.UK service manual απαιτούν μια έρευνα ικανοποίησης ανά υπηρεσία (συνήθως πενταβάθμια κλίμακα από «πολύ ικανοποιημένος» έως «πολύ δυσαρεστημένος», που διενεργείται στο σημείο της συναλλαγής) ως ένα από τα τέσσερα υποχρεωτικά KPI υπηρεσίας — βλ. πρότυπα υπηρεσιών και μετρικές συναλλαγών. Σε θεσμικό επίπεδο, η Civil Service People Survey του ΗΒ μετρά την εμπλοκή και την εμπειρία των υπαλλήλων σε κάθε υπουργείο της κεντρικής κυβέρνησης ετησίως, και χωριστά το πρόγραμμα «Trust in Government» του ΟΟΣΑ ερευνά τη δημόσια εμπιστοσύνη στις εθνικές κυβερνήσεις σε όλα τα κράτη-μέλη, παρακολουθώντας ένα μακροπρόθεσμο μοτίβο πτώσης και ανάκαμψης που διαμορφώνεται έντονα από κρίσεις (η χρηματοπιστωτική κρίση του 2008 και η πανδημία COVID-19 προκάλεσαν και οι δύο απότομες, ορατές κινήσεις στα στοιχεία εμπιστοσύνης του ΟΟΣΑ). Ο λόγος που οι μηχανικοί που χτίζουν υπηρεσίες για πολίτες πρέπει να κρατούν χωριστά την ικανοποίηση και το αποτέλεσμα είναι ένας γνωστός τρόπος αποτυχίας στον σχεδιασμό υπηρεσιών: μια όμορφα σχεδιασμένη, εύκολη στη χρήση ψηφιακή φόρμα για μια αίτηση επιδόματος μπορεί να σκοράρει πολύ υψηλή ικανοποίηση ενώ η υποκείμενη πολιτική — κανόνες επιλεξιμότητας, υπόλοιπα επεξεργασίας, ποσά που χορηγούνται — δεν αφήνει τον αιτούντα σε καλύτερη θέση. Η ικανοποίηση μετρά τη διεπαφή· δεν μετρά την αξία που παραδίδεται πίσω της.

Τα μαθηματικά

Καθαρή ικανοποίηση = % ικανοποιημένοι (ή πολύ ικανοποιημένοι) − % δυσαρεστημένοι (ή πολύ δυσαρεστημένοι)
                    (οι ουδέτερες απαντήσεις/χωρίς γνώμη αποκλείονται και από τους δύο όρους, αλλά
                    μετρώνται στη βάση απαντήσεων για τον υπολογισμό κάθε ποσοστού)

Χάσμα ικανοποίησης-αποτελέσματος = βαθμολογία ικανοποίησης − βαθμολογία επίτευξης αποτελέσματος
                    (και τα δύο κανονικοποιημένα 0–100· ένα μεγάλο θετικό χάσμα σηματοδοτεί
                    υπηρεσία που «νιώθει καλά» αλλά υπολείπεται στην ουσία)

Δείκτης εμπιστοσύνης (τύπου ΟΟΣΑ) = % των ερωτηθέντων που απαντούν «ναι» στο
                    «έχετε εμπιστοσύνη στην [εθνική κυβέρνηση];»
                    παρακολουθούμενος ως χρονοσειρά, συνήθως αναλυμένος κατά
                    ηλικία, εισόδημα και μόρφωση

Επεξεργασμένο παράδειγμα

Υπηρεσία ηλεκτρονικής τιμολόγησης δημοτικού φόρου τοπικής αρχής: μια έρευνα ικανοποίησης στο σημείο επιτυχημένης συναλλαγής δείχνει 2.400 ερωτηθέντες: 1.650 ικανοποιημένοι/πολύ ικανοποιημένοι, 250 δυσαρεστημένοι/πολύ δυσαρεστημένοι, 500 ουδέτεροι.

Καθαρή ικανοποίηση = (1.650/2.400 × 100) − (250/2.400 × 100)
                   = 68,75% − 10,42%
                   = +58,3 καθαρή ικανοποίηση

Αυτό φαίνεται ισχυρό μεμονωμένα. Αλλά η έρευνα εμφανίζεται μόνο σε χρήστες που ολοκληρώνουν επιτυχώς τη συναλλαγή — γνωστή μεροληψία μέτρησης (βλ. παρακάτω παγίδες). Ζευγαρώνοντάς την με τη μετρική ποσοστού ολοκλήρωσης από τα πρότυπα υπηρεσιών και μετρικές συναλλαγών δείχνει ότι η ολοκλήρωση είναι μόνο 71%, που σημαίνει:

Η πραγματική πληθυσμιακή ικανοποίηση δεν μετράται για το 29% που εγκατέλειψε τη διαδρομή —
εύλογα η πιο δυσαρεστημένη ομάδα, αφού η εγκατάλειψη είναι από μόνη της ισχυρό αρνητικό
σήμα που η έρευνα δεν καταγράφει ποτέ.

Εθνική απεικόνιση (δομή μιας σειράς εμπιστοσύνης τύπου ΟΟΣΑ): η εμπιστοσύνη στην εθνική κυβέρνηση αναφέρεται 42% το έτος 1, πέφτει σε 34% το έτος 2 (έτος κρίσης) και ανακτά σε 39% το έτος 3 — τροχιά τυπική του μοτίβου σοκ-και-μερικής-ανάκαμψης που τεκμηριώνει ο ΟΟΣΑ σε όλα τα κράτη-μέλη μετά από μεγάλες κρίσεις.

Σύνδεση με τη μηχανική λογισμικού

Εξοπλίστε τις έρευνες ικανοποίησης σε κάθε ουσιαστικό σημείο εξόδου μιας διαδρομής χρήστη, όχι μόνο στην επιτυχή ολοκλήρωση — το πιο συνηθισμένο μηχανικό λάθος σε αυτόν τον χώρο, που μετατρέπει σιωπηλά μια μετρική ικανοποίησης σε μετρική ματαιοδοξίας με μεροληψία επιβίωσης. Όπου είναι δυνατό, ζευγαρώστε τη βαθμολογία ικανοποίησης με μετρική ολοκλήρωσης ή αποτελέσματος στο ίδιο ταμπλό ώστε μια ομάδα να μην πανηγυρίζει την αυξανόμενη ικανοποίηση ενώ η ολοκλήρωση πέφτει σιωπηλά (βλ. κόστος ανά συναλλαγή και ψηφιακή ένταξη για το ποιοι αποκλείονται εξαρχής από τη δειγματοληψία ψηφιακής ικανοποίησης — οι μη ψηφιακοί και οι χρήστες υποστηριζόμενου ψηφιακού είναι συστηματικά υποεκπροσωπούμενοι στις έρευνες εντός υπηρεσίας). Τα δεδομένα ικανοποίησης και εμπιστοσύνης τροφοδοτούν επίσης άμεσα το σκέλος νομιμοποίησης του στρατηγικού τριγώνου του Moore, και ανήκουν στις οπτικές «πελάτης» και «νομιμοποίηση» ενός δελτίου βαθμολόγησης δημόσιας αξίας — βλ. μετρικές εμπιστοσύνης και νομιμοποίησης για το θεσμικού επιπέδου αντίστοιχο αυτής της μετρικής σε επίπεδο υπηρεσίας.

Παγίδες

  • Μεροληψία επιβίωσης στις έρευνες στο σημείο ολοκλήρωσης: οι χρήστες που εγκαταλείπουν μια διαδρομή δεν βλέπουν ποτέ την έρευνα, οπότε μια υψηλή βαθμολογία ικανοποίησης εντός υπηρεσίας μπορεί να συνυπάρχει με χαμηλό ποσοστό ολοκλήρωσης και έναν μεγάλο αόρατο πληθυσμό δυσαρεστημένων μη ολοκληρωσάντων.
  • Η αντιμετώπιση της ικανοποίησης ως υποκατάστατου του αποτελέσματος: μια καλά σχεδιασμένη διεπαφή για μια κακά σχεδιασμένη πολιτική σκοράρει καλά στην ικανοποίηση και άσχημα στο αποτέλεσμα — αναφέρετε πάντα και τα δύο, ποτέ το ένα ως αντικαταστάτη του άλλου.
  • Μικρά, μη αντιπροσωπευτικά δείγματα που αναφέρονται με ψευδή ακρίβεια: μια βαθμολογία ικανοποίησης από λίγες εκατοντάδες αυτοεπιλεγμένους ερωτηθέντες που αναφέρεται με ένα δεκαδικό υπονοεί βεβαιότητα που το μέγεθος του δείγματος δεν μπορεί να στηρίξει.
  • Η αγνόηση της δημογραφικής ανάλυσης: οι εθνικοί αριθμοί εμπιστοσύνης και ικανοποίησης που δεν αναλύονται κατά ηλικία, εισόδημα, αναπηρία ή ψηφιακή πρόσβαση μπορούν να κρύψουν έντονα αποκλίνουσες εμπειρίες μεταξύ ομάδων — ένα μοτίβο που οι εκδόσεις Trust in Government του ΟΟΣΑ αναλύουν ρητά.

Πηγές