Тема 12 из 64· Государственная экономическая оценка

Многокритериальный анализ решений (MCDA)

MCDA оценивает и взвешивает варианты по нескольким отдельным взвешенным критериям одновременно, давая ранжированное сравнение без принуждения каждого критерия к единой денежной или натуральной шкале. Это метод оценки для решений, где важные результаты действительно невозможно свести к единому числу.

Почему это важно

Green Book прямо санкционирует MCDA (его приложение с примером в блоке 2 и приложение A оба рассматривают его напрямую) для оценок, где выгоды «подлинно несоизмеримы», — где перевод всего в деньги через социальный анализ затрат и выгод или в один результат через анализ экономической эффективности исказил бы решение, а не прояснил его (https://www.gov.uk/government/publications/the-green-book-appraisal-and-evaluation-in-central-government). Например, выбор площадки для новой тюрьмы взвешивает капитальные затраты против влияния на сообщество, транспортной доступности, экологического эффекта и возможности набора персонала — критериев, не имеющих общей единицы измерения, и где принуждение к общей единице (обычно деньгам) незаметно внесло бы ценностное суждение об относительной важности, скажем, экологического воздействия против стоимости, замаскированное под объективную арифметику.

Честность MCDA — также его главная уязвимость: поскольку веса назначает тот, кто проводит оценку (или комиссия), метод легитимен ровно настолько, насколько легитимен процесс взвешивания. Руководство Green Book прямо требует, чтобы критерии и веса были согласованы и опубликованы до оценки вариантов — именно для того, чтобы предотвратить работу рецензента в обратную сторону, от предпочтительного варианта к весам, которые его оправдывают.

Математика

For each option i and criterion j:
  Score_ij   = the option's performance against that criterion (often 0-100
               or 1-10, from evidence, expert judgement, or stakeholder scoring)
  Weight_j   = relative importance of criterion j, weights sum to 1 (or 100)

Weighted score of option i = Σ_j (Score_ij × Weight_j)

Procedure:
1. Agree the criteria set and weights BEFORE scoring any option (swing
   weighting or pairwise comparison, e.g. AHP, are common elicitation methods).
2. Score every option against every criterion on a common scale, from
   evidence where possible.
3. Compute weighted totals; rank options.
4. Sensitivity-test the weights: does the ranking survive plausible
   disagreement about how much each criterion should matter?

MCDA не даёт защитимую абсолютную ценность так, как это делает чистая приведённая стоимость социального анализа затрат и выгод, — он даёт только ранжирование, условное относительно согласованных весов. Это достоинство, когда решение действительно заключается во взвешивании несоизмеримых благ, и недостаток, если используется для уклонения от более трудной работы по монетизации там, где монетизация на самом деле была возможна.

Практический пример

Орган местного самоуправления: совет, выбирающий место для нового центра переработки бытовых отходов, оценивает три площадки по четырём критериям, взвешенным межведомственной комиссией до какого-либо посещения площадки:

Criteria (weight):        Capital cost (30%)  Transport access (25%)
                           Community impact (25%)  Environmental impact (20%)

Site scores (0-100, higher = better):
Site A: cost 80, access 60, community 40, environment 70
Site B: cost 60, access 90, community 70, environment 50
Site C: cost 90, access 50, community 80, environment 60

Weighted totals:
Site A = 80(.30) + 60(.25) + 40(.25) + 70(.20) = 24+15+10+14 = 63
Site B = 60(.30) + 90(.25) + 70(.25) + 50(.20) = 18+22.5+17.5+10 = 68
Site C = 90(.30) + 50(.25) + 80(.25) + 60(.20) = 27+12.5+20+12 = 71.5

Площадка C ранжируется выше всех. Проверка чувствительности, сдвигающая вес влияния на сообщество с 25% до 35% (забирая 10 пунктов у капитальных затрат), меняет итог площадки C до 71,5 − 3 + 8 = 76,5, а площадки B до 68 − 6 + 7 = 69 — площадка C всё равно лидирует, так что ранжирование устойчиво к этому правдоподобному разногласию о взвешивании, и именно эту проверку Green Book ожидает увидеть в отчёте.

Благотворительная организация: грантодающий фонд, выбирающий между финансированием службы консультирования по долгам, сети продовольственных банков и программы финансовой грамотности, использует MCDA, а не SROI (см. социальную отдачу от инвестиций), именно потому, что попечители добросовестно расходятся во мнениях о том, должна ли кризисная помощь или профилактика весить больше, — MCDA позволяет им согласовать форму этого разногласия (диапазон веса), а не делать вид, что единый коэффициент SROI его разрешает.

Связь с разработкой программного обеспечения

MCDA — естественный инструмент для выбора поставщика и архитектуры, когда критерии действительно конфликтуют, — выбор между облачной и локальной системой управления делами взвешивает стоимость, риск суверенитета данных, доступность и скорость реализации способами, не сводимыми к одному числу. Руководителям инженерных команд следует настаивать, чтобы взвешивание происходило до оценки вариантов, точно как того требует Green Book, потому что упражнение по взвешиванию, проведённое после просмотра короткого списка, надёжно смещается в сторону варианта, который уже нравился присутствующим. См. «разработку или покупку» в государственном секторе — распространённое применение MCDA, и систему показателей общественной ценности — родственный инструмент структурированной оценки, используемый после решения, а не до него.

Подводные камни

  • Установление весов после просмотра вариантов. Это самый распространённый способ манипулировать MCDA, намеренно или нет; публикуйте веса до оценки и фиксируйте, кто их установил.
  • Отношение к взвешенному итогу как к жёсткому числу. Разница между баллами 71,5 и 68 не является статистически значимой, если только анализ чувствительности не подтверждает устойчивость ранжирования; сообщайте диапазоны, а не ложную точность.
  • Использование MCDA для уклонения от монетизации, которая на самом деле была осуществима. Если большинство критериев можно было достоверно оценить в деньгах, обращение по умолчанию к MCDA вместо социального анализа затрат и выгод отбрасывает информацию, которую оценка могла бы использовать.
  • Позволение одной доминирующей заинтересованной стороне единолично устанавливать все веса. Хорошая практика Green Book ожидает, что веса будут получены от представительной комиссии, а не от спонсирующего директора, чтобы избежать ситуации, когда оценка просто выводит заново то, чего этот человек уже хотел.

Источники