Θέμα 24 από 64· Κοινωνική αξία και μέτρηση επίδρασης
Αξιολόγηση επίδρασης έναντι αξιολόγησης διαδικασίας
Η αξιολόγηση επίδρασης ρωτά αν το πρόγραμμα προκάλεσε τα επιδιωκόμενα αποτελέσματά του. Η αξιολόγηση διαδικασίας ρωτά αν το πρόγραμμα παραδόθηκε πράγματι όπως σχεδιάστηκε — σε ποιον, με ποια δόση και με ποια εμπόδια ή διευκολυντές στην πορεία. Πρόκειται για διαφορετικά ερωτήματα που απαιτούν διαφορετικές μεθόδους, και το Magenta Book του HM Treasury αντιμετωπίζει την ταυτόχρονη ανάθεση και των δύο ως τυπική πρακτική, επειδή ένα αδύναμο ή μηδενικό αποτέλεσμα επίδρασης είναι μη ερμηνεύσιμο από μόνο του: δεν μπορεί να σας πει αν η υποκείμενη θεωρία του προγράμματος ήταν λάθος, ή αν μια καλή θεωρία απλώς δεν παραδόθηκε ποτέ σωστά.
Γιατί έχει σημασία
Κυβερνητικές αξιολογήσεις έχουν επανειλημμένα βρει μηδενική μετρήσιμη επίδραση από ένα πρόγραμμα χωρίς να υπάρχει αξιολόγηση διαδικασίας που να εξηγεί γιατί — αφήνοντας τις αναθέτουσες αρχές ανίκανες να διακρίνουν το «αυτή η ιδέα δεν λειτουργεί» (αποτυχία θεωρίας) από το «αυτή η ιδέα δεν δοκιμάστηκε ποτέ σωστά» (αποτυχία υλοποίησης). Ο οδηγός του Medical Research Council για την αξιολόγηση διαδικασίας σύνθετων παρεμβάσεων, που δημοσιεύθηκε στο BMJ το 2015 και παρατίθεται ευρέως δίπλα στο Magenta Book, τυποποίησε την πιστότητα, τη δόση και την προσέγγιση ως τα βασικά πράγματα που πρέπει να μετρά μια αξιολόγηση διαδικασίας. Η ανάθεση μιας αξιολόγησης επίδρασης χωρίς αξιολόγηση διαδικασίας διακινδυνεύει την εγκατάλειψη ενός γνήσια υγιούς σχεδιασμού προγράμματος επειδή παραδόθηκε στο μισό του επιδιωκόμενου πληθυσμού με ένα κλάσμα της επιδιωκόμενης έντασης — ένα λάθος που ένας κατασκευαστής συστημάτων είναι σε θέση να προλάβει, επειδή η πιστότητα παράδοσης είναι ακριβώς αυτό που τα επιχειρησιακά συστήματα δεδομένων μπορούν να καταγράψουν σχεδόν σε πραγματικό χρόνο.
Τα μαθηματικά
Η αξιολόγηση διαδικασίας ρωτά:
- Παραδόθηκε στον πληθυσμό-στόχο, με τη σχεδιασμένη δόση/ένταση;
- Ταίριαξε η παράδοση με τον σχεδιασμό του λογικού μοντέλου / της θεωρίας αλλαγής;
- Ποια εμπόδια ή διευκολυντές επηρέασαν την παράδοση;
Μέθοδοι: έλεγχοι πιστότητας έναντι προκαθορισμένων ορίων, μελέτες περίπτωσης, συνεντεύξεις,
διοικητικά δεδομένα παράδοσης.
Η αξιολόγηση επίδρασης ρωτά:
- Τι άλλαξε, και πόση από αυτή την αλλαγή αποδίδεται στο πρόγραμμα;
Μέθοδοι: RCT, DiD, PSM, RDD — βλ. impact-evaluation-methods — έναντι ενός αντιπαραθετικού.
Συνδυασμένη διάγνωση:
Καμία επίδραση + υψηλή πιστότητα → αποτυχία θεωρίας: το ίδιο το μοντέλο δεν παρήγαγε το αποτέλεσμα
Καμία επίδραση + χαμηλή πιστότητα → αποτυχία υλοποίησης: το μοντέλο δεν δοκιμάστηκε ποτέ σωστά
Βρέθηκε επίδραση + υψηλή πιστότητα → αναπαραγωγή με σιγουριά
Βρέθηκε επίδραση + χαμηλή πιστότητα → περαιτέρω διερεύνηση: η επίδραση μπορεί να είναι εύθραυστη ή ειδική για τον χώρο
Επεξεργασμένο παράδειγμα
Τοπική αρχή (πρόγραμμα γονεϊκότητας): μια αξιολόγηση επίδρασης με διαφορά-στις-διαφορές βρίσκει μεταβολή +2 ποσοστιαίων μονάδων σε ένα μέτρο ευημερίας παιδιών — μη στατιστικά σημαντική. Η αξιολόγηση διαδικασίας, που εκτελείται παράλληλα, βρίσκει ότι το πρόγραμμα έφτασε μόνο 210 από τις 500 οικογένειες που στοχεύθηκαν (42% προσέγγιση), και από αυτές, μόνο 95 ολοκλήρωσαν το προκαθορισμένο όριο πιστότητας 75%+ των συνεδριών που παρακολουθήθηκαν — 19% της αρχικής σχεδιασμένης προσέγγισης. Συμπέρασμα: το αδύναμο αποτέλεσμα επίδρασης συνάδει με αποτυχία υλοποίησης, όχι με τεκμήριο ότι το μοντέλο του προγράμματος δεν λειτουργεί· η κατάλληλη απάντηση είναι η διόρθωση της οδού παραπομπής που προκάλεσε την απώλεια 58%, όχι η εγκατάλειψη του σχεδιασμού του προγράμματος.
Φιλανθρωπικός οργανισμός (πρόγραμμα ψηφιακού γραμματισμού): μια αξιολόγηση επίδρασης βρίσκει ισχυρή επίδραση (+18 ποσοστιαίες μονάδες σε ένα σκορ ψηφιακής αυτοπεποίθησης), και μια παράλληλη αξιολόγηση διαδικασίας επιβεβαιώνει 92% πιστότητα στο σχεδιασμένο πρόγραμμα σπουδών σε όλες τις 12 τοποθεσίες παράδοσης. Συνδυαστικά, ο χρηματοδότης μπορεί να κλιμακώσει το πρόγραμμα με σιγουριά, επειδή η επίδραση αποδεικνύεται ότι ισχύει με συνέπεια και όχι ότι είναι προϊόν μιας ασυνήθιστα καλής τοποθεσίας.
Σύνδεση με τη μηχανική λογισμικού
Τα δεδομένα αξιολόγησης διαδικασίας είναι ακριβώς αυτά που τα συστήματα παράδοσης είναι σε θέση να καταγράψουν: παρακολούθηση έναντι σχεδίου, δοσολογία συνεδριών και απώλεια σε κάθε στάδιο ενός χωνιού παραπομπής ή εγγραφής — η ίδια αναλυτική χωνιού που οι μηχανικοί ήδη χτίζουν για χαρακτηριστικά προϊόντος, εφαρμοσμένη στον αγωγό παράδοσης ενός κοινωνικού προγράμματος. Η τροφοδοσία μετρικών πιστότητας και προσέγγισης στους διευθυντές προγράμματος σχεδόν σε πραγματικό χρόνο, αντί να περιμένετε μια αξιολόγηση στο τέλος της επιχορήγησης, επιτρέπει να διορθωθεί μια χαλασμένη οδός παραπομπής κατά τη διάρκεια του προγράμματος αντί να ανακαλυφθεί μόνο όταν έχει λήξει η περίοδος χρηματοδότησης. Βλ. μέθοδοι αξιολόγησης επίδρασης για τους αιτιακούς σχεδιασμούς με τους οποίους ζευγαρώνει η αξιολόγηση διαδικασίας, θεωρία αλλαγής και λογικό μοντέλο για τον σχεδιασμό έναντι του οποίου η αξιολόγηση διαδικασίας ελέγχει την πιστότητα, και πραγμάτωση οφελών για την παρακολούθηση της παράδοσης μέχρι τα αποτελέσματα που υποσχέθηκαν.
Παγίδες
- Η ανάθεση αξιολόγησης επίδρασης μόνο. Ένα μηδενικό ή αδύναμο αποτέλεσμα τότε δεν μπορεί να ερμηνευτεί ως αποτυχία θεωρίας ή αποτυχία υλοποίησης, που είναι ακριβώς η διάκριση που έχει σημασία για το τι θα γίνει στη συνέχεια.
- Η αντιμετώπιση της αξιολόγησης διαδικασίας ως μαλακού πρόσθετου. Χρειάζεται την ίδια αυστηρότητα και προκαθορισμένα κριτήρια πιστότητας με τον σχεδιασμό επίδρασης, αλλιώς καταρρέει σε ανέκδοτο όταν έρθουν τα αποτελέσματα.
- Η σύγχυση του «εγκαίρως και εντός προϋπολογισμού» με το «παραδόθηκε όπως σχεδιάστηκε». Η αξιολόγηση διαδικασίας ελέγχει την πιστότητα στο μοντέλο — δόση, ομάδα-στόχο, περιεχόμενο — όχι την κατάσταση RAG της διαχείρισης έργου.
- Η μη προεγγραφή των ορίων πιστότητας. Η εκ των υστέρων απόφαση για το τι θεωρείται «επαρκής δόση» κάνει οποιαδήποτε εξήγηση ενός απογοητευτικού αποτελέσματος επίδρασης να μοιάζει με εκ των υστέρων δικαιολογία.
Πηγές
- HM Treasury, Magenta Book (2020). https://www.gov.uk/government/publications/the-magenta-book
- Moore G, et al., «Process evaluation of complex interventions: Medical Research Council guidance.» BMJ 2015;350:h1258. https://www.bmj.com/content/350/bmj.h1258
- National Audit Office, εκθέσεις αξιολόγησης προγραμμάτων. https://www.nao.org.uk/