Θέμα 18 από 64· Κοινωνική αξία και μέτρηση επίδρασης
Θεωρία αλλαγής
Μια θεωρία αλλαγής (theory of change) είναι μια ρητή, προς τα πίσω χαρτογραφημένη αιτιακή διαδρομή από έναν μακροπρόθεσμο στόχο προς τις προϋποθέσεις και τις δραστηριότητες που πρέπει να υπάρχουν ώστε να επιτευχθεί, μαζί με τις παραδοχές που συνδέουν κάθε κρίκο. Χτίζεται ξεκινώντας από το αποτέλεσμα που θέλετε και ρωτώντας, επανειλημμένα, «τι πρέπει να ισχύει αμέσως πριν από αυτό, για να συμβεί αυτό;», μέχρι να φτάσετε σε δραστηριότητες που μπορείτε πράγματι να παραδώσετε — που είναι η αντίθετη κατεύθυνση από ένα λογικό μοντέλο, και γι' αυτό τα δύο είναι συμπληρωματικά και όχι εναλλάξιμα.
Γιατί έχει σημασία
Η μέθοδος προς τα πίσω χαρτογράφησης τυποποιήθηκε από το Center for Theory of Change και το ActKnowledge, βασιζόμενη στο έργο της αξιολογήτριας Carol Weiss για την ανάδειξη ρητών παραδοχών των προγραμμάτων ώστε να μπορούν να ελεγχθούν αντί να γίνονται αποδεκτές με πίστη. Η βρετανική αξιολόγηση επιχορηγήσεων το έχει ενσωματώσει άμεσα: το Magenta Book του HM Treasury αντιμετωπίζει τη θεωρία αλλαγής ως αφετηρία για κάθε σχεδιασμό αξιολόγησης, και χρηματοδότες όπως το National Lottery Community Fund απαιτούν από τους αιτούντες να διατυπώσουν μία πριν χρηματοδοτήσουν μια πρόταση. Ο λόγος που έχει σημασία για έναν μηχανικό λογισμικού είναι ότι η θεωρία αλλαγής είναι το έγγραφο που πρέπει να καθορίζει τι χρειάζεται να μετρά το σύστημά του — αν η αιτιακή αλυσίδα λέει «η υιοθέτηση των επιδομάτων εξαρτάται από το να λαμβάνουν οι δικαιούχοι εξατομικευμένο υπολογισμό», αυτός είναι ένας ελέγξιμος ισχυρισμός που το προϊόν μπορεί να εξοπλιστεί για να τεκμηριώσει ή να διαψεύσει.
Τα μαθηματικά
Μια θεωρία αλλαγής είναι δομική και όχι αριθμητική. Κάθε κρίκος πρέπει να φέρει και μια παραδοχή και έναν δείκτη που θα μπορούσε να δείξει ότι η παραδοχή είναι ψευδής:
Μακροπρόθεσμο αποτέλεσμα (ο στόχος)
↑ προϋπόθεση + παραδοχή + δείκτης
Ενδιάμεσο αποτέλεσμα Ν
↑ προϋπόθεση + παραδοχή + δείκτης
...
Ενδιάμεσο αποτέλεσμα 1
↑ προϋπόθεση + παραδοχή + δείκτης
Δραστηριότητες / παρεμβάσεις
↑ πόροι που δεσμεύονται
Εισροές
Αυτή η δομή τροφοδοτεί άμεσα τις μεθόδους αξιολόγησης επίδρασης, που υπάρχουν για να ελέγξουν αν οι παραδοχές σε κάθε κρίκο πράγματι ισχύουν, και την αντιπαραθετική ανάλυση, που ελέγχει αν το μακροπρόθεσμο αποτέλεσμα θα είχε συμβεί ούτως ή άλλως.
Επεξεργασμένο παράδειγμα
Τοπική αρχή (πρόληψη έλλειψης στέγης): το μακροπρόθεσμο αποτέλεσμα είναι διατηρούμενες μισθώσεις στους 12 μήνες για νοικοκυριά που κινδυνεύουν με έξωση.
- Προϋπόθεση: τα νοικοκυριά έχουν ρεαλιστικό, προσιτό σχέδιο αποπληρωμής των καθυστερούμενων. Παραδοχή: τα σχέδια που διαπραγματεύεται ο υπάλληλος υποθέσεων είναι πιο βιώσιμα από τα επιβεβλημένα από δικαστήριο. Δείκτης: % των σχεδίων που είναι ακόμη ενεργά στους 6 μήνες.
- Προϋπόθεση: τα νοικοκυριά διεκδικούν τα επιδόματα στα οποία δικαιούνται. Παραδοχή: ένας ψηφιακός υπολογιστής επιδομάτων αυξάνει τις σωστές αιτήσεις σε σχέση με τα χάρτινα έντυπα. Δείκτης: ποσοστό ακρίβειας αιτήσεων, σε σύγκριση πριν/μετά την εισαγωγή του εργαλείου.
- Δραστηριότητες: τριάζ από υπάλληλο υποθέσεων, ψηφιακός υπολογιστής επιδομάτων, διαπραγμάτευση καθυστερούμενων.
Σε μια πιλοτική ομάδα 120 νοικοκυριών, η παραδοχή του υπολογιστή επιδομάτων ίσχυσε για 102 νοικοκυριά (85%) που προχώρησαν σε σωστή αίτηση, όπως τεκμηριώθηκε από μια μεταγενέστερη αξιολόγηση διαδικασίας — δίνοντας στην ομάδα του προγράμματος τεκμήρια για αυτόν τον συγκεκριμένο κρίκο αντί για έναν μοναδικό ισχυρισμό από άκρη σε άκρη για την πρόληψη της έλλειψης στέγης.
Φιλανθρωπικός οργανισμός (καθοδήγηση νέων): το μακροπρόθεσμο αποτέλεσμα είναι η μειωμένη σχολική αποβολή. Προς τα πίσω χαρτογραφημένες προϋποθέσεις: βελτιωμένη συναισθηματική ρύθμιση → σχέση εμπιστοσύνης ένας-προς-έναν με έναν μέντορα → συνεπής εβδομαδιαία επαφή για δύο τετράμηνα. Η θεωρία κάνει ρητό ότι η έλλειψη της προϋπόθεσης «συνεπής εβδομαδιαία επαφή» (ας πούμε, λόγω εναλλαγής μεντόρων) προβλέπει ότι το αποτέλεσμα δεν θα ακολουθήσει, που είναι ελέγξιμος, διαψεύσιμος ισχυρισμός και όχι ελπίδα.
Σύνδεση με τη μηχανική λογισμικού
Μια θεωρία αλλαγής πρέπει να διαμορφώνει το μοντέλο δεδομένων ενός προϊόντος πριν χτιστεί ένα μόνο ταμπλό: εντοπίστε ποιοι κρίκοι χρειάζονται δείκτη, και εξοπλίστε ειδικά για αυτούς, αντί να προεπιλέγετε ό,τι είναι ευκολότερο να καταγραφεί. Πειθαρχεί επίσης τις συζητήσεις για τον χάρτη πορείας — ένα χαρακτηριστικό που δεν αντιστοιχεί σε κανέναν κρίκο της αλυσίδας δεν αξίζει προφανώς να χτιστεί. Βλ. λογικό μοντέλο για την προς τα εμπρός αλυσίδα λογοδοσίας που χτίζεται μόλις συμφωνηθεί η θεωρία, κοινωνική απόδοση επένδυσης για μια μέθοδο που εξαρτάται από μια θεωρία αλλαγής για να οριοθετήσει ποια αποτελέσματα θα αποτιμηθούν, και αποτελέσματα έναντι εκροών για τη διάκριση από την οποία εξαρτώνται οι κρίκοι των ενδιάμεσων αποτελεσμάτων.
Παγίδες
- Η σύγχυση με ένα λογικό μοντέλο. Μια θεωρία αλλαγής είναι αιτιακή και επεξηγηματική (γιατί πιστεύουμε ότι λειτουργεί)· ένα λογικό μοντέλο είναι διαδοχικό και περιγραφικό (τι συμβαίνει με ποια σειρά). Η παραγωγή μόνο του ενός αφήνει να λείπει είτε το «γιατί» είτε το ίχνος λογοδοσίας.
- Η αφήγηση των παραδοχών σιωπηρά. Η όλη αξία της προς τα πίσω χαρτογράφησης είναι η ανάδειξη ελέγξιμων παραδοχών· μια θεωρία αλλαγής που απλώς απαριθμεί κουτιά και βέλη χωρίς να ονομάζει τι θα μπορούσε να κάνει κάθε κρίκο ψευδή είναι διακόσμηση.
- Η κατασκευή της μία φορά και η αρχειοθέτησή της. Μια θεωρία αλλαγής γραμμένη για μια πρόταση χρηματοδότησης και ποτέ επανεξετασμένη παύει να είναι χρήσιμη τη στιγμή που τα τεκμήρια αρχίζουν να αντιφάσκουν με έναν κρίκο.
- Η παράλειψη της συμβολής των ενδιαφερομένων. Μια θεωρία αλλαγής που χτίζεται εξ ολοκλήρου από αναθέτουσες αρχές χωρίς τη συμβολή του προσωπικού πρώτης γραμμής ή των δικαιούχων τείνει να κωδικοποιεί παραδοχές στις οποίες κανείς από όσους παρέχουν την υπηρεσία δεν πιστεύει πραγματικά.
Πηγές
- Center for Theory of Change. https://www.theoryofchange.org/
- ActKnowledge. https://www.actknowledge.org/
- HM Treasury, Magenta Book (2020), Κεφάλαιο 3. https://www.gov.uk/government/publications/the-magenta-book
- National Lottery Community Fund, οδηγός θεωρίας αλλαγής. https://www.tnlcommunityfund.org.uk/