Θέμα 8 από 64· Θεμέλια της δημόσιας αξίας
Αντιπαραθετική ανάλυση
Το αντιπαραθετικό (counterfactual) είναι μια εκτίμηση του τι θα είχε συμβεί απουσία μιας παρέμβασης. Χωρίς αυτό, μια παρατηρούμενη αλλαγή μετά την έναρξη ενός προγράμματος δεν μπορεί να διακριθεί από μια αλλαγή που θα είχε συμβεί ούτως ή άλλως — χωρίς αντιπαραθετικό, καμία απόδειξη επίδρασης, όσο πειστικοί κι αν φαίνονται οι αριθμοί πριν και μετά. Το Magenta Book του HM Treasury αντιμετωπίζει την κατασκευή ενός αξιόπιστου αντιπαραθετικού ως την κεντρική μεθοδολογική εργασία της αξιολόγησης επίδρασης, σημαντικότερη από οποιαδήποτε άλλη μεμονωμένη σχεδιαστική επιλογή.
Γιατί έχει σημασία
Το «η εγκληματικότητα μειώθηκε 15% το έτος μετά την εισαγωγή του προγράμματος» δεν αποτελεί απόδειξη ότι το πρόγραμμα λειτούργησε, εκτός αν γνωρίζετε τι θα είχε συμβεί στην εγκληματικότητα χωρίς αυτό — η εγκληματικότητα θα μπορούσε να είχε μειωθεί 20% ούτως ή άλλως λόγω άσχετων οικονομικών ή δημογραφικών τάσεων, που σημαίνει ότι το πρόγραμμα στην πραγματικότητα χειροτέρεψε τα πράγματα σε σχέση με το αντιπαραθετικό, παρά τη βελτίωση του ακατέργαστου αριθμού. Αυτό είναι το πιο συνηθισμένο αναλυτικό σφάλμα στους ισχυρισμούς επίδρασης του δημόσιου και κοινωνικού τομέα: η σύγχυση μιας σύγκρισης πριν/μετά με απόδειξη αιτιότητας. Το Magenta Book είναι ρητό ότι η αξιολόγηση επίδρασης υπάρχει για να απαντήσει σε ένα αντιπαραθετικό ερώτημα — «ποια διαφορά έκανε αυτή η παρέμβαση;» — και ότι η απάντηση απαιτεί την εκτίμηση, όχι απλώς την περιγραφή, του κόσμου που δεν συνέβη.
Διαφορετικές μέθοδοι κατασκευάζουν το αντιπαραθετικό με διαφορετικούς βαθμούς βεβαιότητας, και οι κυβερνητικές οδηγίες αξιολόγησης τις κατατάσσουν αναλόγως. Οι τυχαιοποιημένες ελεγχόμενες δοκιμές (RCT), όπου άτομα ή περιοχές κατανέμονται τυχαία ώστε να λάβουν ή όχι μια παρέμβαση, παράγουν το ισχυρότερο αντιπαραθετικό επειδή η τυχαιοποίηση εξασφαλίζει ότι η ομάδα θεραπείας και η ομάδα ελέγχου διαφέρουν, κατά μέσο όρο, μόνο ως προς τη λήψη της παρέμβασης. Το Cabinet Office και το What Works Network προωθούν τις RCT στη βρετανική δημόσια πολιτική από την έκθεση «Test, Learn, Adapt» του 2012 της Behavioural Insights Team, ακριβώς επειδή οι ασθενέστεροι σχεδιασμοί είναι ευάλωτοι σε συγχυτικούς παράγοντες — η παρατηρούμενη διαφορά μπορεί να αντανακλά ποιος επέλεξε να συμμετάσχει, όχι το αποτέλεσμα του προγράμματος. Όπου η τυχαιοποίηση είναι ανέφικτη ή ανήθικη (όπως συχνά συμβαίνει για προγράμματα με νομοθετική δικαιωματική κάλυψη ή για αλλαγές πολιτικής σε ολόκληρο τον πληθυσμό), το Magenta Book καθορίζει μια ρητή ιεραρχία ασθενέστερων αλλά ακόμη χρήσιμων εναλλακτικών: ταιριασμένες ομάδες σύγκρισης, σχεδιασμοί διαφοράς-στις-διαφορές, ασυνέχεια παλινδρόμησης γύρω από ορίους επιλεξιμότητας και, ως έσχατη λύση, η απλή σύγκριση πριν/μετά — σαφώς επισημασμένη ως η ασθενέστερη μορφή τεκμηρίου, επιρρεπής στη σύγχυση του αποτελέσματος του προγράμματος με το αποτέλεσμα όλων των άλλων που άλλαξαν ταυτόχρονα.
Τα μαθηματικά
Η αντιπαραθετική πλαισίωση, εφαρμόσιμη σε όλες τις μεθόδους:
Εκτιμώμενη επίδραση = Αποτέλεσμα(με παρέμβαση) − Αποτέλεσμα(αντιπαραθετικό: χωρίς παρέμβαση)
ΟΧΙ:
Εκτιμώμενη επίδραση ≠ Αποτέλεσμα(μετά) − Αποτέλεσμα(πριν) [συγχέει τον χρόνο με τη θεραπεία]
Η διαφορά-στις-διαφορές, ένας από τους πιο συνηθισμένους οιονεί πειραματικούς σχεδιασμούς στην κυβερνητική αξιολόγηση, απομονώνει το αποτέλεσμα της θεραπείας αφαιρώντας τη δική της αλλαγή πριν/μετά της ομάδας σύγκρισης:
Εκτίμηση DiD = [Αποτέλεσμα(θεραπευόμενη, μετά) − Αποτέλεσμα(θεραπευόμενη, πριν)]
− [Αποτέλεσμα(σύγκρισης, μετά) − Αποτέλεσμα(σύγκρισης, πριν)]
Αυτό αφαιρεί κάθε τάση κοινή και στις δύο ομάδες (π.χ. μια εθνική οικονομική μεταβολή που επηρεάζει όλους), αφήνοντας μόνο τη διαφορική αλλαγή που αποδίδεται στην παρέμβαση.
Επεξεργασμένο παράδειγμα
Πρόγραμμα απασχόλησης, πριν/μετά (αδύναμος σχεδιασμός): ένα σχήμα υποστήριξης εργασίας αναφέρει ότι η απασχόληση των συμμετεχόντων αυξήθηκε από 40% σε 55% μέσα σε ένα έτος — αφελές συμπέρασμα «+15 ποσοστιαίες μονάδες λόγω του προγράμματος».
Το ίδιο πρόγραμμα, διαφορά-στις-διαφορές (ισχυρότερος σχεδιασμός): μια ταιριασμένη ομάδα σύγκρισης παρόμοιων μη συμμετεχόντων, από την ίδια τοπική αγορά εργασίας, δείχνει απασχόληση που αυξάνεται από 38% σε 47% την ίδια χρονιά (βρισκόταν σε εξέλιξη μια εθνική οικονομική ανάκαμψη).
Αλλαγή θεραπευόμενης ομάδας: 55% − 40% = +15 ποσοστιαίες μονάδες
Αλλαγή ομάδας σύγκρισης: 47% − 38% = +9 ποσοστιαίες μονάδες
Εκτίμηση DiD (πραγματικό αποτέλεσμα προγράμματος) = 15 − 9 = +6 ποσοστιαίες μονάδες
Το έντιμα αποδιδόμενο αποτέλεσμα είναι 6 ποσοστιαίες μονάδες, όχι 15 — περισσότερο από το ήμισυ της φαινομενικής βελτίωσης πριν/μετά θα είχε συμβεί ανεξάρτητα από το πρόγραμμα, οδηγούμενο από την ίδια οικονομική ανάκαμψη που ανέβασε την ομάδα σύγκρισης.
Ασυνέχεια παλινδρόμησης, όριο επιλεξιμότητας: ένα σχήμα επιχορήγησης είναι διαθέσιμο μόνο σε επιχειρήσεις με λιγότερους από 50 εργαζομένους. Η σύγκριση των αποτελεσμάτων για επιχειρήσεις ακριβώς κάτω από το όριο (45–49 εργαζόμενοι, επιλέξιμες) με επιχειρήσεις ακριβώς πάνω από αυτό (50–54 εργαζόμενοι, μη επιλέξιμες) παρέχει ένα αξιόπιστο αντιπαραθετικό, επειδή οι επιχειρήσεις εκατέρωθεν ενός αυθαίρετου διοικητικού ορίου είναι κατά τα άλλα όμοιες — το όριο, όχι κάποιο υποκείμενο χαρακτηριστικό της επιχείρησης, καθορίζει την επιλεξιμότητα. Μια μέση διαφορά αποτελέσματος £2.000 μεταξύ των δύο ομάδων, παρατηρούμενη μόνο στο όριο, αποδίδεται στην επιχορήγηση με πολύ μεγαλύτερη βεβαιότητα από μια απλή σύγκριση όλων των επιλέξιμων έναντι όλων των μη επιλέξιμων επιχειρήσεων (που διαφέρουν συστηματικά σε μέγεθος).
Σύνδεση με τη μηχανική λογισμικού
Η αντιπαραθετική σκέψη πρέπει να διαμορφώνει τον τρόπο που σχεδιάζονται τα συστήματα παρακολούθησης επίδρασης και οι αγωγοί αξιολόγησης για κυβερνητικό και κοινωνικό λογισμικό:
- Ενσωματώστε εξαρχής στο σύστημα την καταγραφή ομάδας σύγκρισης — καταγράφοντας ποιος ήταν επιλέξιμος αλλά δεν εγγράφηκε, ή μια ταιριασμένη ομάδα μη συμμετεχόντων — αντί να την προσθέτετε εκ των υστέρων όταν ένα πρόγραμμα έχει ήδη εκτελεστεί και υπάρχουν μόνο δεδομένα πριν/μετά.
- Όπου η τυχαιοποίηση είναι εφικτή (σταδιακή διάθεση, μια ψηφιακή υπηρεσία που ενεργοποιείται για ορισμένους χρήστες πριν από άλλους), εξοπλίστε το σύστημα ώστε να διατηρεί την τυχαία ανάθεση ως πεδίο που μπορεί να ερωτηθεί· μια σταδιακή διάθεση καταστρέφει κατά λάθος τη δική της αξία αξιολόγησης αν η σειρά ανάθεσης δεν καταγράφεται.
- Αυτή είναι η θεμελιώδης μέθοδος πίσω από τις μεθόδους αξιολόγησης επίδρασης και αυτό που τη διαχωρίζει από την αξιολόγηση επίδρασης έναντι αξιολόγησης διαδικασίας, η οποία ρωτά αν ένα πρόγραμμα παραδόθηκε όπως σχεδιάστηκε και όχι αν προκάλεσε αποτέλεσμα.
- Η πρόσθετη επίδραση και το νεκρό βάρος και η μετατόπιση και απόδοση είναι και τα δύο, στη ρίζα τους, αντιπαραθετικά ερωτήματα — το νεκρό βάρος είναι «ποιο θα ήταν αυτό το συγκεκριμένο αποτέλεσμα χωρίς την παρέμβαση», εφαρμοσμένο σε επίπεδο προσαρμογής και όχι πλήρους σχεδιασμού αξιολόγησης.
Παγίδες
- Η αντιμετώπιση του πριν/μετά ως απόδειξης αιτιότητας. Αυτό είναι το πιο συνηθισμένο και πιο επιζήμιο λάθος στην αναφορά επίδρασης του δημόσιου και κοινωνικού τομέα· μια αλλαγή πριν/μετά συγχέει το αποτέλεσμα του προγράμματος με κάθε άλλο πράγμα που άλλαξε την ίδια περίοδο.
- Η χρήση ομάδας σύγκρισης που διαφέρει συστηματικά από τη θεραπευόμενη. Μια ταιριασμένη ομάδα σύγκρισης πρέπει να είναι πραγματικά όμοια ως προς τα σχετικά χαρακτηριστικά (βλ. την ιεραρχία μεθόδων της αντιπαραθετικής ανάλυσης στο Magenta Book)· η σύγκριση συμμετεχόντων στο πρόγραμμα (που επέλεξαν να συμμετάσχουν και είναι συχνά πιο παρακινημένοι) με μη συμμετέχοντες (που δεν συμμετείχαν) ενέχει τον κίνδυνο μεροληψίας επιλογής που παρουσιάζεται ως αποτέλεσμα προγράμματος.
- Η καταστροφή ευκαιριών τυχαιοποίησης μέσω κακού σχεδιασμού παράδοσης. Μια σταδιακή ή τυχαιοποιημένη διάθεση διατηρεί την αξία αξιολόγησής της μόνο αν η ανάθεση είναι πραγματικά τυχαία και καταγράφεται — το να αφήνετε τους τοπικούς διευθυντές να επιλέγουν ποιος πάει πρώτος ματαιώνει τον σκοπό.
- Η υπερβολική διεκδίκηση ακρίβειας από αδύναμο σχεδιασμό. Μια εκτίμηση πριν/μετά πρέπει να παρουσιάζεται ως ενδεικτική, όχι ως μετρημένο μέγεθος επίδρασης· η ιεραρχία τεκμηρίων του Magenta Book υπάρχει ώστε η ισχύς ενός ισχυρισμού να ταιριάζει με την ισχύ του σχεδιασμού που τον παρήγαγε.
Πηγές
- HM Treasury, «The Magenta Book: Central Government Guidance on Evaluation» (2020), και ο συμπληρωματικός οδηγός του για οιονεί πειραματικές μεθόδους. https://www.gov.uk/government/publications/the-magenta-book
- Cabinet Office / Behavioural Insights Team, «Test, Learn, Adapt: Developing Public Policy with Randomized Controlled Trials» (2012).
- What Works Network, οδηγός προτύπων τεκμηρίωσης. https://www.gov.uk/guidance/what-works-network
- Angrist JD, Pischke J-S. Mostly Harmless Econometrics: An Empiricist's Companion. Princeton University Press, 2009 (πρότυπη αναφορά για μεθόδους διαφοράς-στις-διαφορές και ασυνέχειας παλινδρόμησης).