Tópico 20 de 64· Valor social e medição de impacto

Resultados vs. Produtos

Um produto é o resultado direto e contável de uma atividade — existe no momento em que a entrega acontece, independentemente do efeito que tem. Um resultado é a mudança que se segue para as pessoas, lugar ou sistema envolvidos. "500 pessoas assistiram a um workshop de procura de emprego" é um produto: é verdade mesmo que nenhuma delas encontre trabalho. "As perspetivas de emprego de 500 pessoas melhoraram" é uma alegação de resultado, e exige evidência de mudança, não apenas evidência de presença — a confusão que produz mais relatórios de subvenções enganosos do que quase qualquer outro erro de medição no setor.

Por que isso importa

Tanto o Magenta Book do HM Treasury como financiadores como o National Lottery Community Fund exigem relato de resultados especificamente porque os produtos são o que os programas reportam por defeito: são baratos de contar, estão sempre disponíveis, e parecem sempre positivos. Uma contagem de produtos literalmente nunca pode descer em resultado de o programa falhar — mais sessões entregues é sempre "mais", enquanto um resultado pode revelar que um programa não está a funcionar. O National Audit Office tem repetidamente criticado programas governamentais por reportar níveis de atividade como se fossem evidência de sucesso; um sistema de software que só torna fácil reportar produtos reforça isto por defeito, porque os produtos não exigem recolha de dados de acompanhamento e os resultados exigem.

A matemática

Não há fórmula, mas há um teste fiável para classificar uma métrica:

Teste de produto:   é contável no ponto de entrega, verdadeiro mesmo
                     que o destinatário não seja afetado?
Teste de resultado: exige uma comparação antes/depois ou com/sem para
                     ser significativo?

Se um número pode ser verdadeiro com benefício zero para alguém, é um
produto.

Isto situa-se dentro da cadeia mais ampla do modelo lógico e depende das ligações de resultado definidas numa teoria da mudança; transformar um resultado em dinheiro usa os métodos em retorno social sobre o investimento.

Exemplo prático

Autarquia local (apoio ao emprego): produto — 500 pessoas assistiram a workshops de procura de emprego. Resultado — no acompanhamento aos 12 meses, 140 dessas 500 (28%) estão em emprego sustentado (6+ meses). Um grupo de comparação com características semelhantes mas sem acesso ao programa tem uma taxa de emprego de referência de 15% no mesmo período. Aumento líquido de resultado: 28% − 15% = 13 pontos percentuais, pelo que se estima que 500 × 0,13 = 65 pessoas adicionais estão empregadas que de outra forma não estariam — o resultado atribuível, distinto tanto do número de presença de 500 como da contagem bruta de emprego de 140.

Instituição de solidariedade (instituição de literacia): produto — 1.200 sessões de leitura entregues a 300 crianças. Resultado — a idade de leitura média melhorou 8 meses ao longo de um período de 6 meses, face a uma referência de progressão natural esperada de 6 meses. Ganho líquido de resultado: 8 − 6 = 2 meses de melhoria adicional de idade de leitura por criança atribuível ao programa, não o valor integral de 8 meses.

Ligação com a engenharia de software

Os registos de eventos e os sistemas transacionais instrumentam produtos quase automaticamente — visualizações de página, sessões, tickets fechados, consultas marcadas — porque são gerados pelo sistema a fazer o seu trabalho. Os resultados exigem um modelo de dados que capte o mesmo indivíduo num momento posterior face a uma referência ou comparação, o que tem de ser deliberadamente desenhado: inquéritos de acompanhamento, registos administrativos ligados, ou uma coorte de comparação. Uma ferramenta de relato que só suporte o primeiro discretamente orientará uma organização para o relato apenas de produtos, independentemente do que o financiador pediu. Ver modelo lógico para onde os resultados se situam na cadeia de responsabilização, custo por resultado para transformar esta distinção numa métrica de custo unitário, e KPIs do setor público para o padrão mais amplo de seleção de métricas.

Armadilhas

  • Reportar produtos como se fossem resultados. "500 pessoas assistiram" implica benefício sem o demonstrar; rotule a presença explicitamente como um produto.
  • Nenhuma referência ou grupo de comparação. Um valor de resultado sem contrafactual — ver análise contrafactual — não consegue separar o efeito do programa daquilo que teria acontecido de qualquer forma.
  • Otimizar para a métrica financiada. Quando o financiamento está ligado ao volume de produto, as equipas de entrega racionalmente maximizam a presença em vez da mudança duradoura, um modo de falha da lei de Goodhart.
  • "Lavagem" de resultado. Rotular novamente uma métrica de produto com linguagem que soa a resultado ("resultados de envolvimento: 500 participantes") sem qualquer medição de acompanhamento por trás.

Fontes