Θέμα 7 από 64· Θεμέλια της δημόσιας αξίας

Μετατόπιση και απόδοση

Μετατόπιση (displacement) συμβαίνει όταν το φαινομενικό όφελος ενός προγράμματος επιτυγχάνεται αφαιρώντας δραστηριότητα ή όφελος από αλλού, αντί να δημιουργείται κάτι νέο — το δικό σου κέρδος είναι η ζημιά κάποιου άλλου. Η απόδοση (attribution) είναι το συγγενές ερώτημα του πόσο από ένα παρατηρούμενο αποτέλεσμα μπορεί η παρέμβασή σου να διεκδικήσει δικαίως ως δικό της, όταν συνεισέφεραν και άλλοι φορείς και παράγοντες. Και τα δύο είναι τυπικές προσαρμογές στις βρετανικές οδηγίες αξιολόγησης του δημόσιου τομέα, δίπλα στο νεκρό βάρος και τη διαρροή, και παραλείπονται ρουτινιάρικα από ισχυρισμούς επίδρασης που φαίνονται πολύ ισχυρότεροι από ό,τι είναι.

Γιατί έχει σημασία

Ένα σχήμα επιχορήγησης επιχειρήσεων μιας τοπικής αρχής που βοηθά 50 καταστήματα να μεταφερθούν σε μια ζώνη αναζωογόνησης μπορεί να αναφέρει «50 υποστηριζόμενες επιχειρήσεις, 200 θέσεις εργασίας που δημιουργήθηκαν» — αλλά αν αυτές οι επιχειρήσεις απλώς μετακινήθηκαν από γειτονικό εμπορικό δρόμο αντί να επεκταθούν, οι θέσεις εργασίας μετατοπίστηκαν, δεν δημιουργήθηκαν, και το καθαρό αποτέλεσμα σε επίπεδο δήμου (ή περιφέρειας) μπορεί να είναι κοντά στο μηδέν. Το Magenta Book του HM Treasury και ο μακροχρόνιος Additionality Guide αντιμετωπίζουν τη μετατόπιση ως υποχρεωτική έκπτωση ακριβώς επειδή οι τοπικές ιστορίες επιτυχίας είναι συχνές ακόμη και όταν δεν παράγουν καθαρό εθνικό ή περιφερειακό όφελος — η αξία απλώς μετακινήθηκε, συχνά εις βάρος της περιοχής ή των φορέων που την έχασαν. Οι οδηγίες αξιολόγησης διαρθρωτικών ταμείων (που χρησιμοποιούνται για τα πρώην προγράμματα του Ευρωπαϊκού Ταμείου Περιφερειακής Ανάπτυξης και τους εγχώριους διαδόχους τους, όπως το UK Shared Prosperity Fund) το τυποποιούν σε τρεις χωρικές κλίμακες: τοπική μετατόπιση (εντός μιας πόλης), περιφερειακή μετατόπιση (εντός μιας περιφέρειας) και εθνική μετατόπιση (σε όλο το Ηνωμένο Βασίλειο), επειδή μια παρέμβαση μπορεί να είναι πρόσθετη σε μία κλίμακα ενώ είναι καθαρή μετατόπιση σε μια ευρύτερη — ένα πρόγραμμα απασχόλησης που τραβά εργαζόμενους από γειτονική πόλη είναι εθνικά ουδέτερο ακόμη και αν φαίνεται τοπική επιτυχία.

Η απόδοση είναι το αδελφό πρόβλημα στην παράδοση που βασίζεται έντονα σε συνεργασίες, κάτι που είναι πλέον ο κανόνας στον κοινωνικό τομέα και στις διυπηρεσιακές δημόσιες υπηρεσίες. Όταν τρεις οργανισμοί παρέχουν από κοινού μια υπηρεσία πρόληψης της έλλειψης στέγης, η ετήσια έκθεση κάθε οργανισμού μπορεί ανεξάρτητα να διεκδικεί τα εύσημα για την ίδια μείωση των αστέγων που κοιμούνται στον δρόμο — αθροιζόμενη μεταξύ των εκθέσεων, η διεκδικούμενη επίδραση μπορεί να υπερβαίνει την παρατηρούμενη πραγματική αλλαγή, μερικές φορές κατά πολλαπλάσιο. Ο οδηγός του Magenta Book για την ανάλυση συνεισφοράς υπάρχει ειδικά επειδή η τυχαιοποιημένη απόδοση σε έναν μόνο φορέα είναι συχνά αδύνατη στη διυπηρεσιακή παράδοση, και η έντιμη απάντηση είναι συχνά «συνεισφέραμε σε αυτό το αποτέλεσμα» και όχι «προκαλέσαμε αυτό το αποτέλεσμα».

Τα μαθηματικά

Η μετατόπιση ως μέρος της τυπικής ακολουθίας καθαρής επίδρασης (βλ. πρόσθετη επίδραση και νεκρό βάρος για ολόκληρη την αλυσίδα):

Καθαρή πρόσθετη επίδραση = Ακαθάριστο αποτέλεσμα − Νεκρό βάρος − Μετατόπιση − Διαρροή, × Πολλαπλασιαστής

Ποσοστό μετατόπισης = όφελος/δραστηριότητα που εκτράπηκε από αλλού
                       / συνολικό ακαθάριστο όφελος/δραστηριότητα που παρατηρήθηκε

Η απόδοση, όπου πολλοί φορείς συνεισφέρουν σε ένα αποτέλεσμα, εκφράζεται συνήθως ως μερίδιο συνεισφοράς και όχι ως ακριβές ποσοστό, επειδή συνήθως δεν μπορεί να μετρηθεί με την ίδια αυστηρότητα όπως η μετατόπιση:

Αποδιδόμενο μερίδιο ≈ f(ισχύς αιτιακής συνεισφοράς, συνεισφορές άλλων φορέων,
                         εξωτερικοί/περιβαλλοντικοί παράγοντες)

Η διεκδικούμενη επίδραση δεν πρέπει ποτέ να υπερβαίνει:
  Σ (αποδιδόμενο μερίδιο κάθε εταίρου) ≤ 100% του συνολικού παρατηρούμενου αποτελέσματος

Επεξεργασμένο παράδειγμα

Επιχορήγηση αναζωογόνησης: το σχήμα επιχορήγησης εμπορικού δρόμου ενός δημοτικού συμβουλίου αναφέρει 200 νέες θέσεις εργασίας λιανικού εμπορίου στη χρηματοδοτούμενη ζώνη. Η έρευνα παρακολούθησης διαπιστώνει ότι 60 από αυτές τις θέσεις προήλθαν από επιχειρήσεις που μετεγκαταστάθηκαν από γειτονικό, μη χρηματοδοτούμενο εμπορικό δρόμο εντός του ίδιου δήμου, και άλλες 30 από εθνικές αλυσίδες που ανοίγουν υποκαταστήματα που θα άνοιγαν κάπου στην περιφέρεια ανεξάρτητα από την επιχορήγηση.

Ακαθάριστες θέσεις που διεκδικούνται = 200
Τοπική μετατόπιση = 60 (μετακινήθηκαν εντός του δήμου)
Περιφερειακή μετατόπιση = 30 (θα άνοιγαν περιφερειακά ούτως ή άλλως)

Καθαρές πρόσθετες θέσεις (επίπεδο δήμου) = 200 − 60 = 140
Καθαρές πρόσθετες θέσεις (περιφερειακό επίπεδο) = 200 − 60 − 30 = 110

Ο έντιμος τίτλος εξαρτάται από τη γεωγραφική κλίμακα που ενδιαφέρει τον χρηματοδότη — μια επιχειρηματική περίπτωση του Treasury που αξιολογείται σε εθνικό ή περιφερειακό επίπεδο πρέπει να χρησιμοποιεί 110, όχι τις 140 του επιπέδου δήμου, και σίγουρα όχι τις ακατέργαστες 200.

Διυπηρεσιακή υπηρεσία για τους αστέγους: τρεις συνεργαζόμενοι οργανισμοί (ένα δημοτικό συμβούλιο, ένας φιλανθρωπικός οργανισμός στέγασης και ένας οργανισμός υγείας) παρέχουν από κοινού μια υπηρεσία μείωσης των αστέγων που κοιμούνται στον δρόμο. Οι άστεγοι στην περιοχή μειώθηκαν κατά 30 άτομα μέσα στο έτος. Η ατομική ετήσια έκθεση κάθε οργανισμού διεκδικεί «μειώσαμε τους άστεγους κατά 30» — αθροιζόμενες, οι τρεις εκθέσεις διεκδικούν 90 άτομα που βοηθήθηκαν, τριπλάσια από την πραγματική μείωση. Μια ανάλυση συνεισφοράς που αποδίδει σε κάθε εταίρο ένα μερίδιο (ας πούμε 40% το συμβούλιο, 35% ο φιλανθρωπικός οργανισμός, 25% ο οργανισμός υγείας, με βάση τον τεκμηριωμένο ρόλο και ανεξάρτητη αξιολόγηση) θα ανέφερε 12, 10,5 και 7,5 αντίστοιχα, αθροίζοντας σωστά στα παρατηρηθέντα 30.

Σύνδεση με τη μηχανική λογισμικού

Η μετατόπιση και η απόδοση διαμορφώνουν τον τρόπο που πρέπει να σχεδιάζονται τα συστήματα παρακολούθησης επίδρασης και αναφοράς αποτελεσμάτων για παράδοση σε πολλές τοποθεσίες ή με πολλούς εταίρους:

  • Το γεωγραφικό και οργανωτικό εύρος πρέπει να είναι ρητά πεδία πρώτης τάξης σε κάθε ταμπλό επίδρασης — ένας αριθμός που αναφέρεται «για τον δήμο» και ο ίδιος αριθμός που αναφέρεται «για την περιφέρεια» είναι διαφορετικοί αριθμοί, και ένα σύστημα που τους συγχέει θα παράγει αριθμούς που δεν μπορούν να συμφωνηθούν σε επίπεδο χαρτοφυλακίου.
  • Όπου πολλοί εταίροι παρέχουν από κοινού, ένα σύστημα αποτελεσμάτων πρέπει να καταγράφει μερίδια συνεισφοράς (ή τουλάχιστον να επισημαίνει την κοινή απόδοση) αντί να αφήνει την ενότητα αναφοράς κάθε εταίρου να διεκδικεί ανεξάρτητα το 100% ενός κοινού αποτελέσματος — αλλιώς οι συγκεντρωτικές αναφορές σε επίπεδο χαρτοφυλακίου θα υπερβάλλουν τη συνολική επίδραση, μερικές φορές σοβαρά.
  • Αυτό συνδέεται με την κοινωνική απόδοση επένδυσης και την αναφορά αποτελεσμάτων επιχορηγήσεων: ένας υπολογισμός SROI ή IRIS+ που αγνοεί τη μετατόπιση ή υπερ-αποδίδει κοινά αποτελέσματα θα παράγει φουσκωμένο λόγο που δεν αντέχει σε έλεγχο ή αναπαραγωγή.

Παγίδες

  • Η αναφορά τοπικής επιτυχίας χωρίς έλεγχο της ευρύτερης μετατόπισης. Ένα πρόγραμμα μπορεί να φαίνεται εξαιρετικά επιτυχημένο στη μικρότερη κλίμακα αναφοράς ενώ είναι ουδέτερο ή και αρνητικό σε ευρύτερη· δηλώνετε πάντα τη γεωγραφική κλίμακα στην οποία ισχύει ο καθαρός αριθμός.
  • Το να αφήνετε κάθε εταίρο μιας κοινής παράδοσης να διεκδικεί πλήρη εύσημα. Αν τα μερίδια συνεισφοράς δεν συμφωνηθούν και τεκμηριωθούν, η συγκεντρωτική αναφορά μεταξύ εταίρων θα υπερβάλλει τη συνολική επίδραση — ελέγξτε ότι οι διεκδικήσεις σε επίπεδο εταίρου αθροίζουν σε όχι περισσότερο από το παρατηρούμενο σύνολο.
  • Η αντιμετώπιση της απόδοσης ως ακριβούς ποσοστού ενώ στην πραγματικότητα είναι κρίση. Η ανάλυση συνεισφοράς, σε αντίθεση με ένα τυχαιοποιημένο αντιπαραθετικό, παράγει μια υπερασπίσιμη εκτίμηση, όχι ένα μετρημένο γεγονός· παρουσιάστε την με την κατάλληλη αβεβαιότητα αντί για ψευδή ακρίβεια.
  • Η αγνόηση της μετατόπισης σε παρεμβάσεις που απευθύνονται στην αγορά. Η επιχειρηματική υποστήριξη, τα προγράμματα απασχόλησης και η αναζωογόνηση βάσει τόπου είναι οι κλασικές κατηγορίες υψηλής μετατόπισης· αντιμετωπίστε τους ελέγχους μετατόπισης ως υποχρεωτικούς για αυτές, όχι προαιρετικούς.

Πηγές

  • HM Treasury, «The Magenta Book: Central Government Guidance on Evaluation» (2020), συμπεριλαμβανομένου του οδηγού για την ανάλυση συνεισφοράς. https://www.gov.uk/government/publications/the-magenta-book
  • HM Treasury / Department for Business, Innovation and Skills, «Additionality Guide: A Standard Approach to Assessing the Additional Impact of Interventions» (3η έκδοση).
  • Ευρωπαϊκή Επιτροπή, «Evalsed: The Resource for the Evaluation of Socio-Economic Development» — οδηγίες για τις τοπικές, περιφερειακές και εθνικές κλίμακες μετατόπισης.
  • Mayne J. «Contribution Analysis: An Approach to Exploring Cause and Effect.» ILAC Brief No. 16, 2008.