Tópico 30 de 64· Métricas de desempenho e entrega governamental

Métricas de Satisfação do Cidadão

As métricas de satisfação do cidadão medem como as pessoas avaliam a sua experiência direta de um serviço público — distintas da confiança nas instituições em geral, e distintas de saber se o serviço de facto alcançou um bom resultado. Um serviço pode ser bem-visto e ineficaz, ou eficaz e mal-visto; a diferença entre os dois é, por si só, informação diagnóstica que uma equipa de entrega deve acompanhar.

Por que isso importa

A satisfação é medida em duas altitudes diferentes que são rotineiramente confundidas. Ao nível do serviço, o já descontinuado Performance Platform do Reino Unido e o atual GOV.UK service manual exigem um inquérito de satisfação por serviço (tipicamente uma escala de cinco pontos, de "muito satisfeito" a "muito insatisfeito", administrada no momento da transação) como um dos quatro KPIs obrigatórios de serviço — ver padrões de serviço e métricas de transação. Ao nível institucional, o UK Civil Service People Survey mede o envolvimento e a experiência dos funcionários em todos os departamentos do governo central anualmente, e, separadamente, o programa "Trust in Government" da OCDE inquire a confiança pública no governo nacional entre os Estados-membros, acompanhando um padrão de longo prazo de declínio e recuperação fortemente moldado por crises (tanto a crise financeira de 2008 como a pandemia de COVID-19 produziram movimentos acentuados e visíveis nos valores de confiança da OCDE). A razão pela qual os engenheiros que constroem serviços voltados para o cidadão precisam de separar satisfação e resultado é um modo de falha conhecido no desenho de serviços: um formulário digital lindamente desenhado e fácil de usar para um pedido de subsídio pode obter uma satisfação muito elevada enquanto a política subjacente — regras de elegibilidade, atrasos no processamento, montantes atribuídos — deixa o requerente sem melhorias reais. A satisfação mede a interface; não mede o valor entregue por trás dela.

A matemática

Satisfação líquida = % satisfeitos (ou muito satisfeitos) − % insatisfeitos
                    (ou muito insatisfeitos)
                    (respostas neutras/sem opinião excluídas de ambos
                    os termos, mas contadas na base de respostas para
                    calcular cada percentagem)

Diferença satisfação-resultado = valor de satisfação − valor de
                    concretização de resultados
                    (ambos normalizados 0–100; uma grande diferença
                    positiva assinala um serviço que "parece bom" mas
                    entrega pouco em substância)

Índice de confiança (estilo OCDE) = % de inquiridos que respondem
                    "sim" a "tem confiança no [governo nacional]?"
                    acompanhado como série temporal, tipicamente
                    desagregado por idade, rendimento e escolaridade

Exemplo prático

Serviço de faturação eletrónica do imposto municipal de uma autarquia local: um inquérito de satisfação no momento de uma transação bem-sucedida mostra 2.400 respondentes: 1.650 satisfeitos/muito satisfeitos, 250 insatisfeitos/muito insatisfeitos, 500 neutros.

Satisfação líquida = (1.650/2.400 × 100) − (250/2.400 × 100)
                  = 68,75% − 10,42%
                  = +58,3 de satisfação líquida

Isto parece forte isoladamente. Mas o inquérito só é mostrado aos utilizadores que completam com sucesso a transação — um enviesamento de medição conhecido (ver armadilhas abaixo). Ao juntá-lo com o valor da taxa de conclusão de padrões de serviço e métricas de transação, vê-se que a conclusão é de apenas 71%, o que significa:

A satisfação real da população não é medida para os 29% que
abandonaram o percurso — plausivelmente a coorte mais insatisfeita,
já que o abandono é, por si só, um forte sinal negativo que o
inquérito nunca capta.

Ilustração ao nível nacional (estrutura de uma série de confiança estilo OCDE): a confiança no governo nacional é reportada em 42% no ano 1, caindo para 34% no ano 2 (um ano de crise) e recuperando para 39% no ano 3 — uma trajetória típica do padrão de choque e recuperação parcial que a OCDE documenta entre Estados-membros na sequência de grandes crises.

Ligação com a engenharia de software

Instrumente os inquéritos de satisfação em todos os pontos de saída significativos de um percurso do utilizador, não apenas na conclusão bem-sucedida — o erro de engenharia mais comum nesta área, e um que converte silenciosamente uma métrica de satisfação numa métrica de vaidade enviesada por sobrevivência. Onde possível, associe o valor de satisfação a uma métrica de conclusão ou de resultado no mesmo painel, para que uma equipa não possa celebrar o aumento da satisfação enquanto a conclusão discretamente cai (ver custo por transação e inclusão digital para saber quem fica excluído da amostragem de satisfação digital à partida — utilizadores não digitais e de digital assistido são sistematicamente sub-representados nos inquéritos dentro do serviço). Os dados de satisfação e confiança também alimentam diretamente a vertente de legitimidade do triângulo estratégico de Moore, e pertencem às perspetivas de "cliente" e "legitimidade" de um painel de valor público — ver métricas de confiança e legitimidade para a contraparte ao nível institucional desta métrica ao nível do serviço.

Armadilhas

  • Enviesamento de sobrevivência em inquéritos no ponto de conclusão: os utilizadores que abandonam um percurso nunca veem o inquérito, pelo que um valor elevado de satisfação dentro do serviço pode coexistir com uma baixa taxa de conclusão e uma grande população invisível de não-concluintes insatisfeitos.
  • Tratar a satisfação como indicador indireto de resultado: uma interface bem desenhada para uma política mal desenhada pontua bem na satisfação e mal no resultado — reporte sempre ambos, nunca um como substituto do outro.
  • Amostras pequenas e não representativas reportadas com falsa precisão: um valor de satisfação de algumas centenas de respondentes autosselecionados reportado com uma casa decimal implica uma confiança que a dimensão da amostra não consegue sustentar.
  • Ignorar a desagregação demográfica: valores nacionais de confiança e satisfação que não são discriminados por idade, rendimento, deficiência ou acesso digital podem mascarar experiências fortemente divergentes entre grupos — um padrão que as próprias publicações Trust in Government da OCDE desagregam explicitamente.

Fontes