Тема 12 із 64· Економічне оцінювання в уряді

Багатокритеріальний аналіз рішень (MCDA)

MCDA оцінює й зважує варіанти за кількома окремими, зваженими критеріями одночасно, даючи ранжоване порівняння без примусу кожного критерію до єдиної грошової чи натуральної шкали. Це метод оцінки для рішень, де результати, що мають значення, справді не можна звести до єдиного числа.

Чому це важливо

Green Book прямо санкціонує MCDA (його додаток із кейсами Box 2 та Додаток A обидва обговорюють її безпосередньо) для оцінок, де вигоди «справді неспівмірні» — де перетворення всього на гроші через аналіз суспільних витрат і вигод або на один результат через аналіз витрат-ефективності спотворило б рішення, а не прояснило його (https://www.gov.uk/government/publications/the-green-book-appraisal-and-evaluation-in-central-government). Вибір місця для нової в'язниці, наприклад, зважує капітальні витрати проти впливу на громаду, транспортного сполучення, екологічного ефекту та можливості набору персоналу — критерії, що не мають спільної одиниці, і де примус до спільної одиниці (зазвичай грошей) протягнув би ціннісне судження про відносну важливість, скажімо, екологічного впливу проти вартості, замасковане під об'єктивну арифметику.

Чесність MCDA також її головна вразливість: оскільки ваги призначає той, хто проводить оцінку (або панель), метод настільки легітимний, наскільки легітимний процес зважування. Настанови Green Book чітко вимагають, щоб критерії та ваги були погоджені й опубліковані до оцінювання варіантів, саме щоб не дати рецензентові рухатися назад від бажаного варіанта до ваг, що його виправдовують.

Математика

Для кожного варіанта i і критерію j:
  Бал_ij    = виконання варіантом цього критерію (часто 0–100 або 1–10,
              на основі доказів, експертного судження чи оцінювання зацікавлених сторін)
  Вага_j    = відносна важливість критерію j, ваги сумуються до 1 (або 100)

Зважений бал варіанта i = Σ_j (Бал_ij × Вага_j)

Процедура:
1. Погодьте набір критеріїв і ваги ДО оцінювання будь-якого варіанта (зважування
   swing або парне порівняння, напр. AHP, — поширені методи виведення).
2. Оцініть кожен варіант за кожним критерієм на спільній шкалі, де можливо — на основі доказів.
3. Обчисліть зважені суми; ранжуйте варіанти.
4. Перевірте ваги на чутливість: чи витримує ранжування правдоподібні
   розбіжності щодо того, наскільки важливим має бути кожен критерій?

MCDA не дає обґрунтованого абсолютного значення, як чиста теперішня вартість SCBA, — лише ранжування, обумовлене погодженими вагами. Це перевага, коли рішення справді стосується обміну неспівмірних благ, і вада, якщо використовується, щоб уникнути важчої роботи грошової оцінки там, де вона була насправді можлива.

Робочий приклад

Місцева влада: рада, що обирає місце для нового пункту переробки побутових відходів, оцінює три майданчики за чотирма критеріями, зваженими міжвідомчою панеллю до будь-якого відвідування майданчиків:

Критерії (вага):          Капітальні витрати (30%)  Транспортний доступ (25%)
                           Вплив на громаду (25%)    Екологічний вплив (20%)

Бали майданчиків (0–100, вище = краще):
Майданчик A: вартість 80, доступ 60, громада 40, довкілля 70
Майданчик B: вартість 60, доступ 90, громада 70, довкілля 50
Майданчик C: вартість 90, доступ 50, громада 80, довкілля 60

Зважені суми:
A = 80(0,30) + 60(0,25) + 40(0,25) + 70(0,20) = 24+15+10+14 = 63
B = 60(0,30) + 90(0,25) + 70(0,25) + 50(0,20) = 18+22,5+17,5+10 = 68
C = 90(0,30) + 50(0,25) + 80(0,25) + 60(0,20) = 27+12,5+20+12 = 71,5

Майданчик C займає найвище місце. Прогін чутливості, що зсуває вагу впливу на громаду з 25% до 35% (забираючи 10 пунктів у капітальних витрат), змінює суму C на 71,5 − 3 + 8 = 76,5, а суму B — на 68 − 6 + 7 = 69 — C усе ще лідирує, тож ранжування стійке до цієї правдоподібної розбіжності щодо зважування, що саме є перевіркою, яку Green Book очікує побачити у звіті.

Благодійна організація: грантодавчий фонд, що обирає між фінансуванням послуги боргових консультацій, мережі продовольчих банків та програми фінансової грамотності, використовує MCDA замість SROI (див. соціальну віддачу на інвестиції) саме тому, що опікуни добросовісно розходяться щодо того, чи має важити більше допомога в кризі чи запобігання, — MCDA дозволяє їм погодити форму розбіжності (діапазон ваг), замість удавання, ніби єдине співвідношення SROI її розв'язує.

Зв'язок з програмною інженерією

MCDA — природний інструмент для вибору постачальника й архітектури, коли критерії справді конфліктують — вибір між хмарною та локальною системою керування справами зважує вартість, ризик суверенітету даних, доступність і швидкість надання в способи, що не зводяться до одного числа. Інженерні керівники повинні наполягати, щоб зважування відбувалося до оцінювання варіантів, саме як вимагає Green Book, бо вправа зважування, проведена після побачення короткого списку, надійно дрейфує до того варіанта, якому кімната вже віддавала перевагу. Див. будувати чи купувати в уряді щодо поширеного застосування MCDA та картку показників публічної цінності щодо спорідненого інструмента структурованого оцінювання, використовуваного після рішення, а не перед ним.

Пастки

  • Встановлення ваг після побачення варіантів. Це найпоширеніший спосіб маніпулювання MCDA, навмисно чи ні; публікуйте ваги до оцінювання і записуйте, хто їх встановив.
  • Вважати зважену суму твердим числом. Бал 71,5 проти 68 не є статистично значущою різницею, якщо аналіз чутливості не підтверджує стабільність ранжування; повідомляйте діапазони, а не хибну точність.
  • Використання MCDA, щоб уникнути грошової оцінки, яка була насправді здійсненною. Якщо більшість критеріїв можна достовірно оцінити в цінах, типове звернення до MCDA замість SCBA відкидає інформацію, яку оцінка могла б використати.
  • Дозвіл єдиному домінантному зацікавленому встановлювати всі ваги самостійно. Добра практика Green Book очікує, що ваги виводяться з репрезентативної панелі, а не від директора-спонсора, щоб оцінка просто не відтворювала те, чого ця особа вже хотіла.

Джерела