Tópico 23 de 64· Valor social e medição de impacto

Métodos de Avaliação de Impacto

Os métodos de avaliação de impacto são os desenhos estatísticos e experimentais usados para estimar o que uma política ou programa de facto causou, distinto do que teria acontecido de qualquer forma — os ensaios controlados aleatorizados (RCTs), as diferenças-em-diferenças, o emparelhamento por pontuação de propensão e o desenho de descontinuidade de regressão são os quatro mais comummente usados na política pública do Reino Unido. Existem porque a maioria das intervenções governamentais não pode ser testada em laboratório: não se pode aleatorizar que cidade recebe uma nova rota de autocarro da mesma forma que se pode aleatorizar que doente recebe um medicamento, pelo que estes métodos emprestam a mesma lógica causal sem exigir sempre designação aleatória.

Por que isso importa

O Magenta Book do HM Treasury, Anexo A sobre métodos quase-experimentais, é a orientação canónica do governo do Reino Unido para escolher entre estes desenhos, e organismos como a Education Endowment Foundation e o What Works Centre for Local Economic Growth institucionalizam uma hierarquia de evidência construída em torno deles — RCTs onde a aleatorização é viável e ética, desenhos quase-experimentais onde não é. A escolha do método não é uma reflexão técnica tardia: determina se uma avaliação consegue responder a "isto foi causado pelo programa?" ou apenas a "isto aconteceu depois de o programa começar?", que é a mesma pergunta que a análise contrafactual é construída para forçar os profissionais a colocar antes de qualquer avaliação ser encomendada.

A matemática

RCT:
  Impacto = média(resultado | grupo de tratamento) − média(resultado
            | grupo de controlo)
  (válido porque a atribuição ao tratamento é aleatória)

Diferenças-em-diferenças (DiD):
  Impacto = [resultado_depois(tratado) − resultado_antes(tratado)]
         − [resultado_depois(controlo) − resultado_antes(controlo)]
  (exige um pressuposto de "tendências paralelas": o tratado e o
   controlo teriam evoluído em conjunto na ausência da intervenção)

Emparelhamento por pontuação de propensão (PSM):
  1. Estimar P(tratamento = 1 | covariáveis X) para cada unidade →
     pontuação de propensão
  2. Emparelhar unidades tratadas com unidades não tratadas com
     pontuações de propensão semelhantes
  3. Impacto = média(resultado | tratado) − média(resultado |
     controlo emparelhado)

Desenho de descontinuidade de regressão (RDD):
  Impacto = salto no resultado observado no limiar de elegibilidade,
            comparando unidades mesmo acima vs. mesmo abaixo do corte

Exemplo prático

Autarquia local (diferenças-em-diferenças para um programa de famílias em dificuldade): o resultado é a assiduidade escolar. A área tratada passa de 84% para 89% de assiduidade (+5 pontos percentuais) durante o período do programa; uma área comparável mas não tratada passa de 85% para 87% (+2 pontos percentuais) no mesmo período. Estimativa de impacto DiD: 5 − 2 = +3 pontos percentuais atribuíveis ao programa. Aplicado a uma coorte de 2.000 alunos na área tratada, isto é consistente com aproximadamente 60 alunos adicionais (3% × 2.000) a alcançar a categoria de assiduidade mais elevada, uma extrapolação que deve ser reportada com a sua ressalva de tendências paralelas, não como uma contagem precisa.

Instituição de solidariedade (emparelhamento por pontuação de propensão para uma instituição de empregabilidade): 300 participantes do programa são emparelhados com 300 indivíduos de um conjunto de dados administrativo maior, usando pontuações de propensão construídas a partir da idade, histórico de emprego anterior e nível de qualificação. Taxa de emprego aos doze meses: grupo tratado emparelhado 46%, grupo de comparação emparelhado 33%. Estimativa de impacto PSM: 46% − 33% = +13 pontos percentuais atribuíveis ao programa, condicional a não existir um fator de confusão não observado (como a motivação) a impulsionar tanto a participação como o resultado.

Ligação com a engenharia de software

Se algum destes desenhos é viável mais tarde depende fortemente de decisões de engenharia de dados tomadas cedo. O RDD precisa de uma variável de execução registada com precisão e de um corte de elegibilidade genuinamente limpo; o DiD precisa de dados em painel comparáveis ao longo do tempo, tanto para áreas tratadas como de comparação, o que significa junções consistentes entre sistemas e anos; o PSM precisa de dados ricos de covariáveis de referência captados antes do tratamento, não reconstruídos posteriormente. Um modelo de dados desenhado a par de uma teoria da mudança e de um modelo lógico desde o início — captando covariáveis de referência, datas e registos elegíveis para grupo de comparação — é o que torna possível mais tarde uma avaliação de impacto rigorosa, em vez de uma corrida dispendiosa a posteriori. Ver avaliação de impacto vs. avaliação de processo para a pergunta complementar que estes métodos não respondem por si sós.

Armadilhas

  • Forçar um RCT quando inviável ou antiético, ou inversamente nunca considerar um desenho quase-experimental quando uma oportunidade genuína para um — um corte de política, uma implementação faseada — estava disponível e não foi usada.
  • Ignorar o pressuposto de tendências paralelas no DiD. Se a área de comparação já estava a divergir da área tratada antes da intervenção, a comparação de dois pontos está contaminada; verifique as tendências pré-intervenção, não apenas o antes/depois.
  • Emparelhar apenas em covariáveis observadas no PSM. A seleção não observada, como a motivação do participante, pode enviesar a estimativa mesmo quando as covariáveis observadas estão bem equilibradas.
  • Manipulação da variável de execução no RDD. Se as pessoas conseguirem influenciar a sua pontuação para cair mesmo dentro de um limiar de elegibilidade, a descontinuidade deixa de isolar um efeito causal.

Fontes