Θέμα 23 από 64· Κοινωνική αξία και μέτρηση επίδρασης

Μέθοδοι αξιολόγησης επίδρασης

Οι μέθοδοι αξιολόγησης επίδρασης είναι οι στατιστικοί και πειραματικοί σχεδιασμοί που χρησιμοποιούνται για να εκτιμηθεί τι προκάλεσε πραγματικά μια πολιτική ή ένα πρόγραμμα, σε αντιδιαστολή με ό,τι θα είχε συμβεί ούτως ή άλλως — οι τυχαιοποιημένες ελεγχόμενες δοκιμές (RCT), η διαφορά-στις-διαφορές, η αντιστοίχιση με βαθμολογία ροπής και ο σχεδιασμός ασυνέχειας παλινδρόμησης είναι οι τέσσερις που χρησιμοποιούνται συχνότερα στη βρετανική δημόσια πολιτική. Υπάρχουν επειδή οι περισσότερες κυβερνητικές παρεμβάσεις δεν μπορούν να δοκιμαστούν σε εργαστήριο: δεν μπορείτε να τυχαιοποιήσετε ποια πόλη θα πάρει μια νέα γραμμή λεωφορείου όπως τυχαιοποιείτε ποιος ασθενής θα πάρει ένα φάρμακο, οπότε αυτές οι μέθοδοι δανείζονται την ίδια αιτιακή λογική χωρίς να απαιτούν πάντα τυχαία ανάθεση.

Γιατί έχει σημασία

Το Παράρτημα Α του Magenta Book του HM Treasury, για τις οιονεί πειραματικές μεθόδους, είναι ο κανονικός οδηγός της βρετανικής κυβέρνησης για την επιλογή μεταξύ αυτών των σχεδιασμών, και φορείς όπως το Education Endowment Foundation και το What Works Centre for Local Economic Growth θεσμοθετούν μια ιεραρχία τεκμηρίων χτισμένη γύρω τους — RCT όπου η τυχαιοποίηση είναι εφικτή και ηθική, οιονεί πειραματικοί σχεδιασμοί όπου δεν είναι. Η επιλογή μεθόδου δεν είναι τεχνική εκ των υστέρων σκέψη: καθορίζει αν μια αξιολόγηση μπορεί να απαντήσει «προκάλεσε το πρόγραμμα αυτό;» ή μόνο «συνέβη αυτό αφού ξεκίνησε το πρόγραμμα;», που είναι το ίδιο ερώτημα που η αντιπαραθετική ανάλυση έχει χτιστεί για να αναγκάζει τους επαγγελματίες να θέτουν πριν από την ανάθεση οποιασδήποτε αξιολόγησης.

Τα μαθηματικά

RCT:
  Επίδραση = μέσος(αποτέλεσμα | ομάδα θεραπείας) − μέσος(αποτέλεσμα | ομάδα ελέγχου)
  (έγκυρη επειδή η ανάθεση στη θεραπεία είναι τυχαία)

Διαφορά-στις-διαφορές (DiD):
  Επίδραση = [αποτέλεσμα_μετά(θεραπευόμενη) − αποτέλεσμα_πριν(θεραπευόμενη)]
           − [αποτέλεσμα_μετά(ελέγχου) − αποτέλεσμα_πριν(ελέγχου)]
  (απαιτεί παραδοχή «παράλληλων τάσεων»: θεραπευόμενη και ομάδα ελέγχου θα κινούνταν
   μαζί απουσία της παρέμβασης)

Αντιστοίχιση με βαθμολογία ροπής (PSM):
  1. Εκτιμήστε P(θεραπεία = 1 | συμμεταβλητές Χ) για κάθε μονάδα → βαθμολογία ροπής
  2. Αντιστοιχίστε θεραπευόμενες μονάδες με μη θεραπευόμενες με παρόμοιες βαθμολογίες ροπής
  3. Επίδραση = μέσος(αποτέλεσμα | θεραπευόμενες) − μέσος(αποτέλεσμα | αντιστοιχισμένος έλεγχος)

Σχεδιασμός ασυνέχειας παλινδρόμησης (RDD):
  Επίδραση = άλμα στο αποτέλεσμα που παρατηρείται στο όριο επιλεξιμότητας,
             συγκρίνοντας μονάδες ακριβώς πάνω έναντι ακριβώς κάτω από το όριο

Επεξεργασμένο παράδειγμα

Τοπική αρχή (διαφορά-στις-διαφορές για πρόγραμμα «προβληματικών οικογενειών»): το αποτέλεσμα είναι η σχολική φοίτηση. Η θεραπευόμενη περιοχή μεταβαίνει από 84% σε 89% φοίτηση (+5 ποσοστιαίες μονάδες) κατά την περίοδο του προγράμματος· μια συγκρίσιμη αλλά μη θεραπευόμενη περιοχή μεταβαίνει από 85% σε 87% (+2 ποσοστιαίες μονάδες) την ίδια περίοδο. Εκτίμηση επίδρασης DiD: 5 − 2 = +3 ποσοστιαίες μονάδες που αποδίδονται στο πρόγραμμα. Εφαρμοσμένο σε μια ομάδα 2.000 μαθητών στη θεραπευόμενη περιοχή, αυτό συνάδει με περίπου 60 επιπλέον μαθητές (3% × 2.000) που φτάνουν στην υψηλότερη κατηγορία φοίτησης, μια παρέκταση που πρέπει να αναφέρεται με την επιφύλαξη των παράλληλων τάσεων, όχι ως ακριβής αριθμός ατόμων.

Φιλανθρωπικός οργανισμός (αντιστοίχιση με βαθμολογία ροπής για οργανισμό απασχολησιμότητας): 300 συμμετέχοντες στο πρόγραμμα αντιστοιχίζονται με 300 άτομα από ένα μεγαλύτερο διοικητικό σύνολο δεδομένων χρησιμοποιώντας βαθμολογίες ροπής χτισμένες από ηλικία, προηγούμενο ιστορικό απασχόλησης και επίπεδο προσόντων. Ποσοστό απασχόλησης 12 μηνών: αντιστοιχισμένη θεραπευόμενη ομάδα 46%, αντιστοιχισμένη ομάδα σύγκρισης 33%. Εκτίμηση επίδρασης PSM: 46% − 33% = +13 ποσοστιαίες μονάδες που αποδίδονται στο πρόγραμμα, υπό τον όρο ότι κανένας μη παρατηρούμενος συγχυτικός παράγοντας (όπως η κινητοποίηση) δεν οδηγεί και τη συμμετοχή και το αποτέλεσμα.

Σύνδεση με τη μηχανική λογισμικού

Το αν οποιοσδήποτε από αυτούς τους σχεδιασμούς είναι εφικτός αργότερα εξαρτάται σε μεγάλο βαθμό από αποφάσεις μηχανικής δεδομένων που λαμβάνονται νωρίς. Ο RDD χρειάζεται μια με ακρίβεια καταγεγραμμένη μεταβλητή τρεξίματος και ένα πραγματικά καθαρό όριο επιλεξιμότητας· ο DiD χρειάζεται συγκρίσιμα δεδομένα πάνελ στον χρόνο και για τις θεραπευόμενες και για τις περιοχές σύγκρισης, που σημαίνει συνεπείς συνδέσεις μεταξύ συστημάτων και ετών· ο PSM χρειάζεται πλούσια δεδομένα συμμεταβλητών βάσης που καταγράφηκαν πριν από τη θεραπεία, όχι ανακατασκευασμένα εκ των υστέρων. Ένα μοντέλο δεδομένων σχεδιασμένο παράλληλα με μια θεωρία αλλαγής και ένα λογικό μοντέλο εξαρχής — καταγράφοντας συμμεταβλητές βάσης, ημερομηνίες και εγγραφές που μπορούν να μπουν σε ομάδα σύγκρισης — είναι αυτό που κάνει δυνατή μια αυστηρή αξιολόγηση επίδρασης αργότερα, αντί για μια δαπανηρή εκ των υστέρων βιασύνη. Βλ. αξιολόγηση επίδρασης έναντι αξιολόγησης διαδικασίας για το συμπληρωματικό ερώτημα που αυτές οι μέθοδοι δεν απαντούν από μόνες τους.

Παγίδες

  • Η επιβολή RCT όπου είναι ανέφικτο ή ανήθικο, ή αντίθετα η μη εξέταση ποτέ ενός οιονεί πειραματικού σχεδιασμού όταν υπήρχε μια γνήσια ευκαιρία για έναν — ένα όριο πολιτικής, μια σταδιακή διάθεση — και έμεινε αναξιοποίητη.
  • Η αγνόηση της παραδοχής παράλληλων τάσεων στον DiD. Αν η περιοχή σύγκρισης αποκλινόταν ήδη από τη θεραπευόμενη περιοχή πριν την παρέμβαση, η σύγκριση δύο σημείων είναι μολυσμένη· ελέγξτε τις προ-τάσεις, όχι μόνο το πριν/μετά.
  • Η αντιστοίχιση μόνο σε παρατηρούμενες συμμεταβλητές στον PSM. Η μη παρατηρούμενη επιλογή, όπως η κινητοποίηση των συμμετεχόντων, μπορεί να μεροληπτεί την εκτίμηση ακόμη και όταν οι παρατηρούμενες συμμεταβλητές είναι καλά ισορροπημένες.
  • Η χειραγώγηση της μεταβλητής τρεξίματος στον RDD. Αν οι άνθρωποι μπορούν να επηρεάσουν τη βαθμολογία τους ώστε να πέσουν ακριβώς εντός ενός ορίου επιλεξιμότητας, η ασυνέχεια δεν απομονώνει πια αιτιακό αποτέλεσμα.

Πηγές