Θέμα 20 από 64· Κοινωνική αξία και μέτρηση επίδρασης

Αποτελέσματα έναντι εκροών

Μια εκροή (output) είναι το άμεσο, μετρήσιμο προϊόν μιας δραστηριότητας — υπάρχει τη στιγμή που γίνεται η παράδοση, ανεξάρτητα από το ποια επίδραση έχει. Ένα αποτέλεσμα (outcome) είναι η αλλαγή που ακολουθεί για τους ανθρώπους, τον τόπο ή το σύστημα που εμπλέκονται. Το «500 άτομα παρακολούθησαν ένα εργαστήριο αναζήτησης εργασίας» είναι εκροή: ισχύει ακόμη και αν κανένα δεν βρει δουλειά. Το «οι προοπτικές απασχόλησης 500 ατόμων βελτιώθηκαν» είναι ισχυρισμός αποτελέσματος, και απαιτεί τεκμήρια αλλαγής, όχι μόνο τεκμήρια παρακολούθησης — η σύγχυση που παράγει περισσότερες παραπλανητικές εκθέσεις επιχορηγήσεων από σχεδόν οποιοδήποτε άλλο σφάλμα μέτρησης στον τομέα.

Γιατί έχει σημασία

Το Magenta Book του HM Treasury και χρηματοδότες όπως το National Lottery Community Fund απαιτούν αναφορά αποτελεσμάτων ακριβώς επειδή οι εκροές είναι αυτό που αναφέρουν τα προγράμματα από προεπιλογή: είναι φθηνές στην καταμέτρηση, πάντα διαθέσιμες και πάντα φαίνονται θετικές. Ένας αριθμός εκροών κυριολεκτικά δεν μπορεί ποτέ να πέσει επειδή το πρόγραμμα αποτυγχάνει — περισσότερες συνεδρίες που παραδόθηκαν είναι πάντα «περισσότερο», ενώ ένα αποτέλεσμα μπορεί να αποκαλύψει ότι ένα πρόγραμμα δεν λειτουργεί. Το National Audit Office έχει επανειλημμένα επικρίνει κυβερνητικά προγράμματα που αναφέρουν επίπεδα δραστηριότητας σαν να ήταν τεκμήριο επιτυχίας· ένα σύστημα λογισμικού που διευκολύνει μόνο την αναφορά εκροών το ενισχύει αυτό από προεπιλογή, επειδή οι εκροές δεν απαιτούν συλλογή δεδομένων παρακολούθησης ενώ τα αποτελέσματα απαιτούν.

Τα μαθηματικά

Δεν υπάρχει τύπος, αλλά υπάρχει αξιόπιστος έλεγχος για την ταξινόμηση ενός δείκτη:

Έλεγχος εκροής:    μετράται στο σημείο παράδοσης, και ισχύει ακόμη και αν ο αποδέκτης δεν επηρεαστεί;
Έλεγχος αποτελέσματος: απαιτεί σύγκριση πριν/μετά ή με/χωρίς για να έχει νόημα;

Αν ένας αριθμός μπορεί να ισχύει με μηδενικό όφελος για οποιονδήποτε, είναι εκροή.

Αυτό βρίσκεται μέσα στην ευρύτερη αλυσίδα του λογικού μοντέλου και εξαρτάται από τους κρίκους αποτελεσμάτων που ορίζονται σε μια θεωρία αλλαγής· η μετατροπή ενός αποτελέσματος σε χρήμα χρησιμοποιεί τις μεθόδους της κοινωνικής απόδοσης επένδυσης.

Επεξεργασμένο παράδειγμα

Τοπική αρχή (υποστήριξη απασχόλησης): εκροή — 500 άτομα παρακολούθησαν εργαστήρια αναζήτησης εργασίας. Αποτέλεσμα — στην παρακολούθηση 12 μηνών, 140 από αυτά τα 500 (28%) βρίσκονται σε διαρκή απασχόληση (6+ μήνες). Μια ομάδα σύγκρισης με παρόμοια χαρακτηριστικά αλλά χωρίς πρόσβαση στο πρόγραμμα έχει βασικό ποσοστό απασχόλησης 15% την ίδια περίοδο. Καθαρή άνοδος αποτελέσματος: 28% − 15% = 13 ποσοστιαίες μονάδες, άρα εκτιμώμενα 500 × 0,13 = 65 επιπλέον άτομα εργάζονται που διαφορετικά δεν θα εργάζονταν — το αποδιδόμενο αποτέλεσμα, διακριτό τόσο από τον αριθμό παρακολούθησης 500 όσο και από την ακατέργαστη καταμέτρηση απασχόλησης 140.

Φιλανθρωπικός οργανισμός (οργανισμός αναγνωστικού γραμματισμού): εκροή — 1.200 συνεδρίες ανάγνωσης που παραδόθηκαν σε 300 παιδιά. Αποτέλεσμα — η μέση αναγνωστική ηλικία βελτιώθηκε κατά 8 μήνες σε διάστημα 6 μηνών, έναντι αναμενόμενης φυσικής προόδου 6 μηνών. Καθαρό κέρδος αποτελέσματος: 8 − 6 = 2 μήνες πρόσθετης βελτίωσης αναγνωστικής ηλικίας ανά παιδί που αποδίδεται στο πρόγραμμα, όχι ο πλήρης αριθμός των 8 μηνών.

Σύνδεση με τη μηχανική λογισμικού

Τα αρχεία συμβάντων και τα συναλλακτικά συστήματα εξοπλίζουν τις εκροές σχεδόν αυτόματα — προβολές σελίδων, συνεδρίες, αιτήματα που έκλεισαν, ραντεβού που κλείστηκαν — επειδή παράγονται από το σύστημα που κάνει τη δουλειά του. Τα αποτελέσματα απαιτούν ένα μοντέλο δεδομένων που καταγράφει το ίδιο άτομο σε μεταγενέστερο χρονικό σημείο έναντι μιας βάσης ή σύγκρισης, κάτι που πρέπει να ενσωματωθεί σκόπιμα: έρευνες παρακολούθησης, συνδεδεμένα διοικητικά αρχεία ή μια ομάδα σύγκρισης. Ένα εργαλείο αναφοράς που υποστηρίζει μόνο το πρώτο θα οδηγήσει σιωπηλά έναν οργανισμό προς αναφορά μόνο εκροών, ανεξάρτητα από το τι ζήτησε ο χρηματοδότης. Βλ. λογικό μοντέλο για το πού βρίσκονται τα αποτελέσματα στην αλυσίδα λογοδοσίας, κόστος ανά αποτέλεσμα για τη μετατροπή αυτής της διάκρισης σε μετρική κόστους μονάδας, και δείκτες KPI του δημόσιου τομέα για το ευρύτερο μοτίβο επιλογής δεικτών.

Παγίδες

  • Η αναφορά εκροών σαν να ήταν αποτελέσματα. Το «500 άτομα παρακολούθησαν» υπονοεί όφελος χωρίς να το αποδεικνύει· επισημάνετε ρητά την παρακολούθηση ως εκροή.
  • Απουσία βάσης ή ομάδας σύγκρισης. Ένας αριθμός αποτελέσματος χωρίς αντιπαραθετικό — βλ. αντιπαραθετική ανάλυση — δεν μπορεί να διαχωρίσει την επίδραση του προγράμματος από ό,τι θα είχε συμβεί ούτως ή άλλως.
  • Η βελτιστοποίηση για τον χρηματοδοτούμενο δείκτη. Όταν η χρηματοδότηση συνδέεται με τον όγκο εκροών, οι ομάδες παράδοσης μεγιστοποιούν ορθολογικά την παρακολούθηση έναντι της διαρκούς αλλαγής, ένας τρόπος αποτυχίας του νόμου του Goodhart.
  • Το «πλύσιμο» αποτελεσμάτων. Η μετονομασία ενός δείκτη εκροής με γλώσσα που ακούγεται σαν αποτέλεσμα («αποτελέσματα εμπλοκής: 500 παρευρισκόμενοι») χωρίς καμία μέτρηση παρακολούθησης πίσω της.

Πηγές