주제 12 / 64· 정부의 경제적 평가

다기준 의사결정 분석 (MCDA)

MCDA는 여러 개의 구별되고 가중치가 부여된 기준에 대해 동시에 옵션들을 점수 매기고 가중치를 부여하여, 모든 기준을 하나의 화폐적 또는 자연 단위 척도로 강제하지 않고 순위가 매겨진 비교를 산출한다. 이는 중요한 성과가 진정으로 단일 숫자로 축소될 수 없는 결정을 위한 평가 방법이다.

중요한 이유

Green Book은 편익이 "진정으로 통약 불가능한"——사회적 비용편익분석을 통해 모든 것을 돈으로, 또는 비용효과성 분석을 통해 하나의 성과로 변환하는 것이 결정을 명확히 하기보다 왜곡할——평가에 대해 MCDA를 명시적으로 승인한다(Box 2 사례 연구 부록과 부록 A 모두에서 직접 논의됨, https://www.gov.uk/government/publications/the-green-book-appraisal-and-evaluation-in-central-government). 예를 들어 새로운 교도소 부지 선정은 자본 비용과 지역사회 영향, 교통 연결성, 환경적 영향, 직원 채용 가능성 사이에서 트레이드오프를 이룬다——이들은 공통 단위를 공유하지 않는 기준들이며, 공유 단위(보통 돈)를 강제하는 것은 객관적인 산술로 위장한, 예컨대 환경 영향 대 비용의 상대적 중요성에 대한 가치 판단을 은밀히 밀반입하는 것이 될 것이다.

MCDA의 정직함은 또한 그 주된 취약점이다. 가중치는 평가를 수행하는 사람(또는 패널)에 의해 배정되기 때문에, 이 방법은 그 가중치 부여 과정만큼만 정당하다. Green Book 지침은 검토자가 선호하는 옵션에서 거꾸로 작업하여 그것을 정당화하는 가중치를 찾아내는 것을 막기 위해, 정확히 옵션이 채점되기 전에 기준과 가중치가 합의되고 공표되어야 한다고 명시한다.

계산식

각 옵션 i와 기준 j에 대해:
  점수_ij   = 그 기준에 대한 옵션의 성과(흔히 증거, 전문가 판단,
             또는 이해관계자 채점으로부터 0~100 또는 1~10)
  가중치_j  = 기준 j의 상대적 중요성, 가중치의 합은 1(또는 100)

옵션 i의 가중 점수 = Σ_j (점수_ij × 가중치_j)

절차:
1. 어떤 옵션이든 채점하기 전에 기준 세트와 가중치를 합의한다
   (스윙 가중치나 쌍대비교, 예를 들어 AHP는 일반적인 도출 방법이다).
2. 가능하면 증거로부터, 모든 옵션을 모든 기준에 대해 공통 척도로
   채점한다.
3. 가중 합계를 계산하고 옵션의 순위를 매긴다.
4. 가중치를 민감도 테스트한다: 각 기준이 얼마나 중요해야 하는지에
   대한 그럴듯한 이견이 있어도 순위가 유지되는가?

MCDA는 SCBA의 순현재가치처럼 옹호 가능한 절대값을 생산하지 않는다——합의된 가중치를 조건으로 한 순위만 생산한다. 이는 결정이 진정으로 통약 불가능한 재화 간의 트레이드오프에 관한 것일 때는 장점이지만, 화폐화가 실제로 가능했던 곳에서 더 어려운 화폐화 작업을 회피하는 데 사용되면 부채가 된다.

계산 예시

지방자치단체: 새로운 가정용 폐기물 재활용 센터의 위치를 선정하는 한 의회가, 부지 방문 전에 부처 간 패널에 의해 가중치가 부여된 네 가지 기준에 대해 세 부지를 채점한다.

기준(가중치):            자본 비용(30%)  교통 접근성(25%)
                           지역사회 영향(25%)  환경 영향(20%)

부지 점수(0~100, 높을수록 좋음):
부지 A: 비용 80, 접근성 60, 지역사회 40, 환경 70
부지 B: 비용 60, 접근성 90, 지역사회 70, 환경 50
부지 C: 비용 90, 접근성 50, 지역사회 80, 환경 60

가중 합계:
부지 A = 80(.30) + 60(.25) + 40(.25) + 70(.20) = 24+15+10+14 = 63
부지 B = 60(.30) + 90(.25) + 70(.25) + 50(.20)
       = 18+22.5+17.5+10 = 68
부지 C = 90(.30) + 50(.25) + 80(.25) + 60(.20) = 27+12.5+20+12
       = 71.5

부지 C가 최고 순위다. 지역사회 영향 가중치를 25%에서 35%로 옮기는(자본 비용에서 10포인트를 가져오는) 민감도 실행은 부지 C의 합계를 71.5 − 3 + 8 = 76.5로, 부지 B를 68 − 6 + 7 = 69로 바꾼다——부지 C가 여전히 앞서므로, 순위는 그 그럴듯한 가중치 이견에 대해 견고하다. 이것이 정확히 Green Book이 보고되기를 기대하는 검증이다.

자선단체: 부채상담 서비스, 푸드뱅크 네트워크, 금융문해력 프로그램 중 자금 지원을 선택하는 보조금 지급 재단은, 위기 구호와 예방 중 어느 쪽이 더 무겁게 가중되어야 하는지에 대해 신탁관리자들이 선의로 이견을 갖기 때문에, SROI(사회적 투자수익률 참조)가 아니라 MCDA를 사용한다——MCDA는 단일 SROI 비율이 그것을 해결한다고 가장하는 대신, 그들이 이견의 형태(가중치 범위)에 합의하도록 해준다.

소프트웨어 개발과의 연관성

MCDA는 기준이 진정으로 충돌할 때 벤더 및 아키텍처 선택을 위한 자연스러운 도구다——클라우드 호스팅 케이스 관리 시스템과 온프레미스 시스템 사이의 선택은 하나의 숫자로 환원되지 않는 방식으로 비용, 데이터 주권 위험, 접근성, 전달 속도를 트레이드오프한다. 엔지니어링 책임자는, Green Book이 요구하는 것과 정확히 같이, 옵션이 채점되기 전에 가중치 부여가 이루어지도록 고집해야 한다. 왜냐하면 최종 후보 목록을 본 후에 실행되는 가중치 부여 연습은 신뢰성 있게 그 방에서 이미 선호되던 옵션 쪽으로 표류하기 때문이다. 일반적인 MCDA 응용은 정부의 내부 구축 대 구매를, 결정 전이 아니라 결정 후에 사용되는 관련된 구조화된 채점 도구는 공공 가치 스코어카드를 참조.

함정

  • 옵션을 본 후에 가중치를 설정하는 것. 이는 의도적이든 아니든 MCDA가 조작되는 가장 흔한 단일 방식이다. 채점 전에 가중치를 공표하고, 누가 그것을 설정했는지 기록할 것.
  • 가중 합계를 확고한 숫자로 취급하는 것. 71.5 대 68의 점수는 민감도 분석이 순위가 안정적임을 확인하지 않는 한 통계적으로 의미 있는 격차가 아니다. 거짓 정밀도가 아니라 범위를 보고할 것.
  • 실제로 실현 가능했던 화폐화를 피하기 위해 MCDA를 사용하는 것. 대부분의 기준이 신뢰성 있게 가격을 매길 수 있었다면, SCBA 대신 MCDA를 기본값으로 사용하는 것은 평가가 사용할 수 있었던 정보를 버리는 것이다.
  • 하나의 지배적인 이해관계자가 모든 가중치를 혼자 설정하게 두는 것. Green Book의 모범 사례는 후원 이사가 아니라 대표성 있는 패널로부터 가중치가 도출되기를 기대한다. 그렇게 함으로써 평가가 단순히 그 사람이 이미 원했던 것을 재도출하는 것을 피한다.

출처