Θέμα 6 από 64· Θεμέλια της δημόσιας αξίας
Πρόσθετη επίδραση και νεκρό βάρος
Η πρόσθετη επίδραση (additionality) ρωτά αν μια παρέμβαση προκάλεσε ένα αποτέλεσμα που διαφορετικά δεν θα είχε συμβεί. Το νεκρό βάρος (deadweight) είναι ο καθρέφτης της: το μερίδιο ενός αποτελέσματος που θα είχε συμβεί ούτως ή άλλως, ακόμη και χωρίς το πρόγραμμα, την επιχορήγηση ή την επιδότηση. Σχεδόν κάθε ισχυρισμός επίδρασης ενός κυβερνητικού προγράμματος ή φιλανθρωπικού οργανισμού υπερβάλλει ως προς το αποτέλεσμά του μέχρι να αφαιρεθεί το νεκρό βάρος, γι' αυτό και οι βρετανικές οδηγίες αξιολόγησης το αντιμετωπίζουν ως την πρώτη και σημαντικότερη προσαρμογή σε οποιονδήποτε αριθμό-τίτλο.
Γιατί έχει σημασία
Το «υποστηρίξαμε 500 επιχειρήσεις να αναπτυχθούν» ακούγεται ως επίτευγμα, αλλά αν οι 300 από αυτές τις επιχειρήσεις θα αναπτύσσονταν ούτως ή άλλως — επειδή η τοπική οικονομία ανέκαμπτε, επειδή είχαν άλλες οδούς χρηματοδότησης, επειδή βρίσκονταν ήδη σε τροχιά ανάπτυξης πριν ξεκινήσει το πρόγραμμα — τότε η πραγματική πρόσθετη συνεισφορά του προγράμματος είναι 200, όχι 500. Το Magenta Book του HM Treasury και ο μακροχρόνιος «Additionality Guide» των HM Treasury/BIS (αναπτύχθηκε αρχικά για προγράμματα περιφερειακής ανάπτυξης και αναζωογόνησης και χρησιμοποιείται ευρέως έκτοτε στη βρετανική κυβερνητική αξιολόγηση) τυποποιούν το νεκρό βάρος ως την αρχική προσαρμογή στην τυπική ακολουθία καθαρής επίδρασης: ακαθάριστο αποτέλεσμα μείον νεκρό βάρος, μείον μετατόπιση, μείον διαρροή, προσαρμοσμένο για επιδράσεις πολλαπλασιαστή, ισούται με καθαρή πρόσθετη επίδραση. Η παράλειψη αυτού του βήματος είναι ο πιο συνηθισμένος τρόπος με τον οποίο φουσκώνουν οι ισχυρισμοί επίδρασης του δημόσιου και κοινωνικού τομέα, εκούσια ή μη — ένα πρόγραμμα επιχορηγήσεων που μετρά μόνο τα ακαθάριστα αποτελέσματα των συμμετεχόντων, χωρίς ομάδα σύγκρισης, δεν μπορεί να διακρίνει το δικό του αποτέλεσμα από ό,τι θα συνέβαινε ούτως ή άλλως.
Το νεκρό βάρος δεν είναι σταθερό ποσοστό· εξαρτάται εξ ολοκλήρου από το αντιπαραθετικό για τον συγκεκριμένο πληθυσμό και παρέμβαση (βλ. αντιπαραθετική ανάλυση). Οι αξιολογήσεις περιφερειακής ανάπτυξης στην Αγγλία υπό τους προηγούμενους Φορείς Περιφερειακής Ανάπτυξης βρήκαν συνήθως ποσοστά νεκρού βάρους στην περιοχή 20–60% ανάλογα με τον τύπο της επιχειρηματικής υποστήριξης, γι' αυτό και οι αξιόπιστες αξιολογήσεις προγραμμάτων αναφέρουν ένα εύρος προσαρμοσμένο για το νεκρό βάρος αντί για μία μοναδική υποτιθέμενη τιμή, και γι' αυτό χρηματοδότες όπως το National Lottery Community Fund και το Big Society Capital απαιτούν από τους δικαιούχους να αντιμετωπίζουν ρητά το νεκρό βάρος στην αναφορά αποτελεσμάτων αντί να αναφέρουν ακαθάριστους αριθμούς συμμετεχόντων.
Τα μαθηματικά
Η τυπική ακολουθία προσαρμογής καθαρής επίδρασης, όπως καθορίζεται στις βρετανικές οδηγίες αξιολόγησης (Magenta Book· HM Treasury/BIS Additionality Guide· οδηγίες αξιολόγησης ESIF και διαρθρωτικών ταμείων):
Ακαθάριστο αποτέλεσμα
− Νεκρό βάρος (ό,τι θα είχε συμβεί ούτως ή άλλως)
− Μετατόπιση (δραστηριότητα/όφελος που μετακινήθηκε από αλλού, όχι δημιουργήθηκε — βλ.
displacement-and-attribution)
− Διαρροή (όφελος που περιέρχεται εκτός της ομάδας-στόχου/περιοχής)
× Πολλαπλασιαστής (πρόσθετη έμμεση/επαγόμενη οικονομική δραστηριότητα, όπου είναι θετική)
= Καθαρή πρόσθετη επίδραση
Το ποσοστό νεκρού βάρους ως αναλογία:
Ποσοστό νεκρού βάρους = αποτελέσματα που θα είχαν συμβεί χωρίς την παρέμβαση
/ συνολικά ακαθάριστα αποτελέσματα που παρατηρήθηκαν
Καθαρά πρόσθετα αποτελέσματα = Ακαθάριστα αποτελέσματα × (1 − Ποσοστό νεκρού βάρους)
Επεξεργασμένο παράδειγμα
Πρόγραμμα επιχορήγησης επιχειρηματικής υποστήριξης: ένα περιφερειακό σχήμα επιχορηγήσεων αναφέρει ότι 500 υποστηριζόμενες επιχειρήσεις αύξησαν την απασχόληση το επόμενο έτος, κατά μέσο όρο 3 θέσεις η καθεμία — ακαθάριστος ισχυρισμός 1.500 θέσεων εργασίας.
Μια ταιριασμένη ομάδα σύγκρισης παρόμοιων μη υποστηριζόμενων επιχειρήσεων (βλ. αντιπαραθετική ανάλυση) δείχνει ότι το 40% της αύξησης της απασχόλησης των υποστηριζόμενων επιχειρήσεων θα είχε συμβεί ούτως ή άλλως, με βάση τις επιδόσεις της ταιριασμένης ομάδας την ίδια περίοδο.
Ποσοστό νεκρού βάρους = 40%
Καθαρές πρόσθετες θέσεις εργασίας = 1.500 × (1 − 0,40) = 900 θέσεις
Το έντιμα αναφέρσιμο επίτευγμα του προγράμματος είναι 900 θέσεις, όχι 1.500 — μείωση 40% καθαρά από την προσαρμογή για νεκρό βάρος, πριν καν ληφθούν υπόψη η μετατόπιση ή η διαρροή.
Πρόγραμμα απασχόλησης φιλανθρωπικού οργανισμού: ένας φιλανθρωπικός οργανισμός τοποθετεί 200 μακροχρόνια ανέργους σε θέσεις εργασίας με κόστος £600.000 (£3.000 ανά τοποθέτηση, ακαθάριστο). Τα εθνικά δεδομένα της αγοράς εργασίας δείχνουν ότι, χωρίς καμία παρέμβαση, περίπου το 15% μιας συγκρίσιμης ομάδας μακροχρόνια ανέργων βρίσκει εργασία την ίδια περίοδο μέσω της φυσικής κινητικότητας της αγοράς εργασίας.
Ποσοστό νεκρού βάρους = 15%
Καθαρές πρόσθετες τοποθετήσεις = 200 × (1 − 0,15) = 170
Πραγματικό κόστος ανά πρόσθετη τοποθέτηση = £600.000 / 170 ≈ £3.529
Το ακαθάριστο κόστος ανά τοποθέτηση (£3.000) υποτιμά το πραγματικό κόστος της πρόσθετης συνεισφοράς του φιλανθρωπικού οργανισμού κατά περίπου 15%.
Σύνδεση με τη μηχανική λογισμικού
Η πρόσθετη επίδραση και το νεκρό βάρος έχουν άμεση σημασία για όποιον χτίζει λογισμικό μέτρησης επίδρασης ή διαχείρισης επιχορηγήσεων για τον δημόσιο ή κοινωνικό τομέα:
- Τα συστήματα αναφοράς αποτελεσμάτων πρέπει να καταγράφουν εκ σχεδιασμού μια ομάδα σύγκρισης ή βάσης, όχι μόνο τα αποτελέσματα των συμμετεχόντων — η εκ των υστέρων προσθήκη ενός αντιπαραθετικού αφού ένα σύστημα λανσαριστεί χωρίς αυτό είναι πολύ δυσκολότερη από την ενσωμάτωση της καταγραφής εξαρχής (βλ. αντιπαραθετική ανάλυση).
- Τα ταμπλό που αναφέρουν μόνο ακαθάριστους αριθμούς συμμετεχόντων θα υπερβάλλουν συστηματικά την επίδραση προς τους χρηματοδότες και τους φορείς εποπτείας· όπου υπάρχουν εκτιμήσεις νεκρού βάρους (από την αξιολογική βιβλιογραφία ή μια ομάδα σύγκρισης), το λογισμικό πρέπει να εμφανίζει το μέγεθος καθαρό από νεκρό βάρος δίπλα στο ακαθάριστο, όχι αντί αυτού.
- Αυτό συνδέεται άμεσα με την κοινωνική απόδοση επένδυσης, της οποίας ο λόγος SROI είναι αξιόπιστος μόνο όταν το νεκρό βάρος (και η μετατόπιση) έχουν αφαιρεθεί από τα ακαθάριστα διεκδικούμενα αποτελέσματα — ένας υπολογιστής SROI που παραλείπει αυτό το βήμα θα παράγει φουσκωμένους λόγους που δεν αντέχουν στον έλεγχο.
Παγίδες
- Η αναφορά ακαθάριστων αποτελεσμάτων σαν να ήταν όλα πρόσθετα. Αυτό είναι το πιο συνηθισμένο λάθος μέτρησης επίδρασης στις αναφορές επιχορηγήσεων και προγραμμάτων· ρωτάτε πάντα «θα είχε συμβεί ούτως ή άλλως;» πριν δημοσιεύσετε έναν αριθμό-τίτλο.
- Η παραδοχή ότι ένα μοναδικό ποσοστό νεκρού βάρους ισχύει παντού. Το νεκρό βάρος ποικίλλει τεράστια ανά τομέα, πληθυσμό και τοπικές οικονομικές συνθήκες· χρησιμοποιήστε ομάδα σύγκρισης ή τεκμήρια ειδικά για τον τομέα αντί να επαναχρησιμοποιείτε έναν αριθμό από άσχετη αξιολόγηση.
- Η σύγχυση του νεκρού βάρους με τη μετατόπιση. Το νεκρό βάρος αφορά αντιπαραθετικά αποτελέσματα για τους ίδιους συμμετέχοντες· η μετατόπιση αφορά επιδράσεις σε άλλους ανθρώπους ή τόπους — βλ. μετατόπιση και απόδοση. Η ταύτιση των δύο οδηγεί σε διπλομέτρηση ή υπομέτρηση της προσαρμογής.
- Νεκρό βάρος που αναφέρεται από τους ίδιους τους συμμετέχοντες. Το να ρωτάτε τους δικαιούχους «θα είχε συμβεί αυτό χωρίς τη βοήθειά μας;» παράγει συστηματικά χαμηλές εκτιμήσεις νεκρού βάρους (οι συμμετέχοντες τείνουν να αποδίδουν τα εύσημα στο πρόγραμμα)· μια ανεξάρτητη ομάδα σύγκρισης είναι πολύ πιο αξιόπιστη.
Πηγές
- HM Treasury, «The Magenta Book: Central Government Guidance on Evaluation» (2020). https://www.gov.uk/government/publications/the-magenta-book
- HM Treasury / Department for Business, Innovation and Skills, «Additionality Guide: A Standard Approach to Assessing the Additional Impact of Interventions» (3η έκδοση), αναπτύχθηκε αρχικά με τους English Partnerships και το Housing Corporation.
- Ευρωπαϊκή Επιτροπή, «Evalsed: The Resource for the Evaluation of Socio-Economic Development» — οδηγίες για το νεκρό βάρος, τη μετατόπιση και τη διαρροή στην αξιολόγηση διαρθρωτικών ταμείων.
- National Lottery Community Fund, «Guidance on Outcomes and Impact Reporting.» https://www.tnlcommunityfund.org.uk/