Tema 27 de 64· Métricas de rendimiento y ejecución gubernamental

Responsabilidad basada en resultados (Outcomes-Based Accountability, OBA)

La Responsabilidad Basada en Resultados, también llamada Responsabilidad Basada en Resultados (RBA por sus siglas en inglés, Results-Based Accountability), es el marco de Mark Friedman para separar dos preguntas que los informes del sector público habitualmente confunden: "¿le va bien a la población?" (responsabilidad poblacional) y "¿le va bien a este programa específico?" (responsabilidad de desempeño). Confundir ambas es, en el relato de Friedman, la razón individual más común por la que programas bien gestionados reciben la culpa de tendencias poblacionales que nunca tuvieron el poder de mover.

Por qué es importante

Friedman expuso el marco en Trying Hard Is Not Good Enough (2005), argumentando que la mayoría de los informes públicos o bien ahogan a quienes toman decisiones en estadísticas a nivel poblacional que ningún organismo individual controla (tasa de embarazo adolescente, tasa de desempleo, esperanza de vida), o los ahogan en recuentos de actividad a nivel de programa (clientes atendidos, derivaciones realizadas) que no dicen nada sobre si la vida de alguien mejoró. La contribución de la RBA es un vocabulario pequeño y disciplinado que mantiene ambas cosas separadas: los resultados poblacionales (condiciones de bienestar para toda una población, como "los niños nacen sanos") no pertenecen a ningún organismo individual y requieren que muchos socios se muevan juntos; las medidas de desempeño (cuán bien sirve un programa específico a sus clientes específicos) pertenecen a un organismo y deberían juzgarse solo frente a lo que ese organismo realmente puede influir. Las "tres preguntas de desempeño" de Friedman —cuánto hicimos, cuán bien lo hicimos, y ¿está alguien mejor?— están ahora integradas en toda la contratación de servicios humanos de estados y condados de EE. UU. y, a través de la consultora y el conjunto de herramientas alineados con la RBA, Clear Impact, ampliamente usadas en la contratación de ayuntamientos del Reino Unido y la Mancomunidad de Naciones. Lo que está en juego en la práctica es contractual: un programa de vivienda no debería desfinanciarse porque la tasa de personas sin hogar de la ciudad subió por causas macroeconómicas fuera de su alcance, pero absolutamente debería desfinanciarse si sus propios clientes no están siendo realojados.

Las matemáticas

Responsabilidad poblacional (el "panorama general" que comparte una
comunidad, región o nación):
  Resultado    — una condición de bienestar (p. ej., "los residentes
                 son económicamente seguros")
  Indicador(es) — una medida de esa condición (p. ej., tasa de
                 desempleo, renta media del hogar)
  → ningún programa individual posee el indicador; el movimiento
    requiere muchos contribuyentes

Responsabilidad de desempeño (de lo que un programa es responsable):
  ¿Cuánto hicimos?      — volumen de actividad (clientes atendidos,
                           unidades entregadas)
  ¿Cuán bien lo hicimos? — calidad/eficiencia (% que completa el
                           programa, coste por cliente)
  ¿Está alguien mejor?  — el resultado que importa (% en empleo 6
                           meses después del programa, antes/después o
                           frente a un grupo de comparación)

Un programa se juzga por la tercera pregunta de desempeño, nunca
directamente por el indicador poblacional, a menos que su escala y
diseño pudieran plausiblemente moverlo por sí solo.

Ejemplo práctico

Programa de apoyo al empleo financiado por una ciudad, 500 participantes/año, contratado por un ayuntamiento bajo un marco de desempeño al estilo RBA:

Indicador poblacional (contexto, no el cuadro de mando del programa):
  Tasa de desempleo de la ciudad: 6,2% (subida desde el 5,8% del año
  anterior, impulsada por el cierre de una fábrica fuera del control
  del programa)

Medidas de desempeño (la responsabilidad real del programa):
  Cuánto:     500 participantes inscritos (objetivo 480) — cumplido
  Cuán bien:  78% de tasa de finalización; coste por persona que
              completa = 340.000 £ / 390 personas ≈ 872 £
  ¿Mejor?:    de 390 personas que completaron, 260 en empleo sostenido
              a los 6 meses = 66,7% frente al 41% de un grupo de
              comparación emparejado (véase counterfactual-analysis)

Bajo una lectura de responsabilidad poblacional, el programa parece estar fallando: la tasa de desempleo de la ciudad subió bajo su vigilancia. Bajo la lectura de responsabilidad de desempeño de la RBA, el programa está teniendo éxito: alcanzó su objetivo de volumen, mantuvo la calidad estable y produjo un resultado de empleo 25,7 puntos porcentuales por encima de un grupo de comparación emparejado, mientras el indicador poblacional se movía por razones (el cierre de una fábrica) completamente fuera del control del programa.

Conexión con la ingeniería de software

La RBA se corresponde directamente con una distinción familiar de SRE: los indicadores poblacionales son como las métricas de estrella polar a nivel de negocio que ningún equipo de ingeniería individual posee de principio a fin (ingresos de la empresa, cuota de mercado), mientras que las medidas de desempeño son como los propios SLO de un equipo: las cosas que las decisiones de diseño de ese equipo realmente mueven. Un panel que informa de ambas sin etiquetar cuál es cuál invita precisamente a la mala atribución que la RBA fue construida para prevenir: una persona de guardia recibiendo la culpa de una métrica que controla un equipo dependiente. Al encargar o construir herramientas de informes para contratos de resultados, construya la tríada "cuánto / cuán bien / mejor" como campos de primera clase y filtrables por separado en lugar de como un único KPI combinado; es la misma disciplina que separar los indicadores adelantados y rezagados en los KPI del sector público. La RBA es también la lógica de responsabilidad que subyace a el pago por resultados y los bonos de impacto social: un contrato de PbR solo puede pagar de forma justa sobre la medida de desempeño "mejor", nunca sobre el indicador poblacional, a menos que la intervención sea genuinamente el motor dominante de este.

Errores habituales

  • Pagar o penalizar a un programa frente a un indicador poblacional que no puede controlar: este es el error individual que la RBA existe para prevenir; rastree siempre si el programa es un contribuyente principal o menor al resultado poblacional antes de vincular consecuencias a él.
  • Informar de "cuánto" como si fuera "mejor": los recuentos de actividad (clientes atendidos) son los datos más fáciles de recopilar y los menos informativos; insista en que la pregunta "¿está alguien mejor?" se responda con datos de resultado reales, idealmente frente a un contrafactual (véase análisis contrafactual).
  • Tratar los indicadores de RBA como fijos para siempre: el método de Friedman es explícitamente iterativo —un ciclo de "datos, historia, qué funciona, plan de acción"—, no un ejercicio puntual de diseño de cuadro de mando.
  • Ningún grupo de comparación para "mejor": un cambio antes/después sin contrafactual confunde el efecto del programa con la tendencia que la población habría mostrado de todos modos.

Fuentes