Θέμα 12 από 64· Οικονομική αξιολόγηση στην κυβέρνηση
Πολυκριτήρια ανάλυση αποφάσεων (MCDA)
Η MCDA βαθμολογεί και σταθμίζει επιλογές έναντι πολλών διακριτών, σταθμισμένων κριτηρίων ταυτόχρονα, παράγοντας μια ταξινομημένη σύγκριση χωρίς να αναγκάζει κάθε κριτήριο σε μία μοναδική χρηματική ή φυσική κλίμακα. Είναι η μέθοδος αξιολόγησης για αποφάσεις όπου τα αποτελέσματα που έχουν σημασία πραγματικά δεν μπορούν να αναχθούν σε έναν μοναδικό αριθμό.
Γιατί έχει σημασία
Το Green Book εγκρίνει ρητά την MCDA (το Πλαίσιο 2 του παραρτήματος μελετών περίπτωσης και το Παράρτημα Α την συζητούν άμεσα) για αξιολογήσεις όπου τα οφέλη είναι «πραγματικά ασύμμετρα» — όπου η μετατροπή των πάντων σε χρήμα μέσω της κοινωνικής ανάλυσης κόστους-οφέλους, ή σε ένα αποτέλεσμα μέσω της ανάλυσης κόστους-αποτελεσματικότητας, θα παραμόρφωνε την απόφαση αντί να τη διευκρινίσει (https://www.gov.uk/government/publications/the-green-book-appraisal-and-evaluation-in-central-government). Η επιλογή τοποθεσίας για μια νέα φυλακή, για παράδειγμα, σταθμίζει το κεφαλαιουχικό κόστος έναντι του αντικτύπου στην κοινότητα, της συγκοινωνιακής σύνδεσης, της περιβαλλοντικής επίδρασης και της δυνατότητας πρόσληψης προσωπικού — κριτήρια που δεν μοιράζονται κοινή μονάδα και όπου η επιβολή κοινής μονάδας (συνήθως χρήμα) θα εισήγαγε λαθραία μια αξιολογική κρίση για τη σχετική σημασία, ας πούμε, της περιβαλλοντικής επίδρασης έναντι του κόστους, μεταμφιεσμένη σε αντικειμενική αριθμητική.
Η ειλικρίνεια της MCDA είναι και η κύρια τρωτότητά της: επειδή τα βάρη ορίζονται από όποιον διεξάγει την αξιολόγηση (ή από ένα πάνελ), η μέθοδος είναι τόσο νόμιμη όσο η διαδικασία στάθμισης. Ο οδηγός του Green Book είναι ρητός ότι τα κριτήρια και τα βάρη πρέπει να συμφωνούνται και να δημοσιεύονται πριν βαθμολογηθούν οι επιλογές, ακριβώς για να αποτραπεί ένας αναθεωρητής από το να εργάζεται αντίστροφα, από μια προτιμώμενη επιλογή προς τα βάρη που την δικαιολογούν.
Τα μαθηματικά
Για κάθε επιλογή i και κριτήριο j:
Βαθμός_ij = η επίδοση της επιλογής έναντι αυτού του κριτηρίου (συχνά 0-100
ή 1-10, από τεκμήρια, κρίση εμπειρογνωμόνων ή βαθμολόγηση ενδιαφερομένων)
Βάρος_j = σχετική σημασία του κριτηρίου j, τα βάρη αθροίζουν σε 1 (ή 100)
Σταθμισμένος βαθμός της επιλογής i = Σ_j (Βαθμός_ij × Βάρος_j)
Διαδικασία:
1. Συμφωνήστε το σύνολο κριτηρίων και τα βάρη ΠΡΙΝ βαθμολογήσετε οποιαδήποτε
επιλογή (στάθμιση swing ή ανά ζεύγη σύγκριση, π.χ. AHP, είναι συνηθισμένες
μέθοδοι εκμαίευσης).
2. Βαθμολογήστε κάθε επιλογή έναντι κάθε κριτηρίου σε κοινή κλίμακα, από
τεκμήρια όπου είναι δυνατό.
3. Υπολογίστε τα σταθμισμένα σύνολα· κατατάξτε τις επιλογές.
4. Δοκιμάστε την ευαισθησία των βαρών: αντέχει η κατάταξη σε εύλογη
διαφωνία για το πόσο πρέπει να μετράει κάθε κριτήριο;
Η MCDA δεν παράγει μια υπερασπίσιμη απόλυτη αξία όπως η καθαρή παρούσα αξία της SCBA — παράγει μόνο μια κατάταξη υπό τον όρο των συμφωνημένων βαρών. Αυτό είναι χαρακτηριστικό όταν η απόφαση αφορά πραγματικά τον συμβιβασμό ασύμμετρων αγαθών, και βάρος αν χρησιμοποιηθεί για να αποφευχθεί η δυσκολότερη δουλειά της χρηματοποίησης όπου η χρηματοποίηση ήταν πράγματι εφικτή.
Επεξεργασμένο παράδειγμα
Τοπική αρχή: ένα δημοτικό συμβούλιο που επιλέγει τοποθεσία για ένα νέο κέντρο ανακύκλωσης οικιακών απορριμμάτων βαθμολογεί τρεις τοποθεσίες έναντι τεσσάρων κριτηρίων, σταθμισμένων από ένα διυπηρεσιακό πάνελ πριν από οποιαδήποτε επίσκεψη στις τοποθεσίες:
Κριτήρια (βάρος): Κεφαλαιουχικό κόστος (30%) Πρόσβαση μεταφορών (25%)
Αντίκτυπος στην κοινότητα (25%) Περιβαλλοντικός αντίκτυπος (20%)
Βαθμοί τοποθεσιών (0-100, υψηλότερο = καλύτερο):
Τοποθεσία Α: κόστος 80, πρόσβαση 60, κοινότητα 40, περιβάλλον 70
Τοποθεσία Β: κόστος 60, πρόσβαση 90, κοινότητα 70, περιβάλλον 50
Τοποθεσία Γ: κόστος 90, πρόσβαση 50, κοινότητα 80, περιβάλλον 60
Σταθμισμένα σύνολα:
Τοποθεσία Α = 80(,30) + 60(,25) + 40(,25) + 70(,20) = 24+15+10+14 = 63
Τοποθεσία Β = 60(,30) + 90(,25) + 70(,25) + 50(,20) = 18+22,5+17,5+10 = 68
Τοποθεσία Γ = 90(,30) + 50(,25) + 80(,25) + 60(,20) = 27+12,5+20+12 = 71,5
Η Τοποθεσία Γ κατατάσσεται πρώτη. Μια δοκιμή ευαισθησίας που μετατοπίζει το βάρος του αντικτύπου στην κοινότητα από 25% σε 35% (παίρνοντας 10 μονάδες από το κεφαλαιουχικό κόστος) αλλάζει το σύνολο της Γ σε 71,5 − 3 + 8 = 76,5 και της Β σε 68 − 6 + 7 = 69 — η Γ εξακολουθεί να προηγείται, άρα η κατάταξη αντέχει σε εκείνη την εύλογη διαφωνία για τη στάθμιση, που είναι ακριβώς ο έλεγχος που το Green Book περιμένει να δει αναφερόμενο.
Φιλανθρωπικός οργανισμός: ένα ίδρυμα χορήγησης επιχορηγήσεων που επιλέγει μεταξύ χρηματοδότησης μιας υπηρεσίας συμβουλευτικής χρεών, ενός δικτύου τροφίμων και ενός προγράμματος οικονομικού γραμματισμού χρησιμοποιεί MCDA αντί για SROI (βλ. κοινωνική απόδοση επένδυσης) ακριβώς επειδή οι επίτροποι διαφωνούν, καλή τη πίστει, για το αν η ανακούφιση κρίσεων ή η πρόληψη πρέπει να βαρύνει περισσότερο — η MCDA τους επιτρέπει να συμφωνήσουν στο σχήμα της διαφωνίας (ένα εύρος βαρών) αντί να προσποιούνται ότι ένας μοναδικός λόγος SROI την επιλύει.
Σύνδεση με τη μηχανική λογισμικού
Η MCDA είναι το φυσικό εργαλείο για την επιλογή προμηθευτή και αρχιτεκτονικής όταν τα κριτήρια πραγματικά συγκρούονται — η επιλογή μεταξύ ενός συστήματος διαχείρισης υποθέσεων φιλοξενούμενου στο cloud και ενός τοπικής εγκατάστασης σταθμίζει κόστος, κίνδυνο κυριαρχίας δεδομένων, προσβασιμότητα και ταχύτητα παράδοσης με τρόπους που δεν ανάγονται σε έναν αριθμό. Οι επικεφαλής μηχανικοί πρέπει να επιμένουν ότι η στάθμιση γίνεται πριν βαθμολογηθούν οι επιλογές, ακριβώς όπως απαιτεί το Green Book, επειδή μια άσκηση στάθμισης που διεξάγεται αφού δει κανείς τη βραχεία λίστα παρασύρεται αξιόπιστα προς όποια επιλογή προτιμούσε ήδη η αίθουσα. Βλ. κατασκευή έναντι αγοράς στην κυβέρνηση για μια συνηθισμένη εφαρμογή της MCDA, και δελτίο βαθμολόγησης δημόσιας αξίας για ένα συγγενές εργαλείο δομημένης βαθμολόγησης που χρησιμοποιείται μετά και όχι πριν την απόφαση.
Παγίδες
- Ο καθορισμός βαρών αφού δει κανείς τις επιλογές. Αυτός είναι ο πιο συνηθισμένος τρόπος με τον οποίο παραποιείται η MCDA, εκούσια ή μη· δημοσιεύστε τα βάρη πριν από τη βαθμολόγηση και καταγράψτε ποιος τα όρισε.
- Η αντιμετώπιση του σταθμισμένου συνόλου ως σκληρού αριθμού. Ένας βαθμός 71,5 έναντι 68 δεν είναι στατιστικά σημαντικό χάσμα εκτός αν η ανάλυση ευαισθησίας επιβεβαιώνει ότι η κατάταξη είναι σταθερή· αναφέρετε εύρη, όχι ψευδή ακρίβεια.
- Η χρήση της MCDA για να αποφευχθεί χρηματοποίηση που ήταν πράγματι εφικτή. Αν τα περισσότερα κριτήρια θα μπορούσαν να τιμολογηθούν αξιόπιστα, η προεπιλογή της MCDA αντί της SCBA απορρίπτει πληροφορίες που θα μπορούσε να είχε χρησιμοποιήσει η αξιολόγηση.
- Το να αφήνετε έναν κυρίαρχο ενδιαφερόμενο να ορίσει μόνος όλα τα βάρη. Η καλή πρακτική του Green Book περιμένει τα βάρη να εκμαιεύονται από ένα αντιπροσωπευτικό πάνελ, όχι από τον διευθυντή-χορηγό, ώστε η αξιολόγηση να μην αναπαράγει απλώς ό,τι ήθελε ήδη το πρόσωπο αυτό.
Πηγές
- HM Treasury. «The Green Book: appraisal and evaluation in central government.» 2022, Παράρτημα Α (πολυκριτήρια ανάλυση αποφάσεων) και μελέτες περίπτωσης του Πλαισίου 2. https://www.gov.uk/government/publications/the-green-book-appraisal-and-evaluation-in-central-government
- Department for Communities and Local Government. «Multi-criteria analysis: a manual.» 2009. https://www.gov.uk/government/publications/multi-criteria-analysis-a-manual
- Belton V, Stewart TJ. «Multiple Criteria Decision Analysis: An Integrated Approach.» Kluwer, 2002.