Avaliação e organização de evidências

A Enap oferece a órgãos públicos ferramentas de análise de evidências e de apoio a ciclos de avaliação que irão subsidiar a tomada de decisão com a produção de informações estratégicas e qualificadas.

Quando avaliar

A avaliação pode ser feita antes (ex ante), durante ou após a implementação (ex post).

Avalia a consistência da proposta durante a criação, expansão ou reformulação para aprimorar o desenho e planejamento de uma política, programa ou projeto públicos.

  • Identifica se a política responde a um problema bem limitado e pertinente
  • Avalia se as opções de políticas são fundamentadas em evidências
  • Desenvolve o encadeamento lógico entre problema, causas, consequências e a solução adotada com ferramentas metodológicas adequadas
  • Orienta a decisão e priorização de ações de forma mais objetiva e transparente

Etapas

Usualmente contempla:

  1. Diagnóstico do problema 
  2. Caracterização da política: objetivos, ações, público-alvo e resultados esperados
  3. Desenho da política 
  4. Estratégia de construção de confiabilidade e credibilidade 
  5. Estratégia de implementação
  6. Estratégias de monitoramento, avaliação e controle 
  7. Análise de custo-benefício
  8. Impacto orçamentário e financeiro

Avalia uma política, programa ou projeto públicos ao longo ou ao final de sua execução. Como um instrumento de racionalidade para a tomada de decisão, é orientada para o aprimoramento das ações públicas.

  • Evidencia se os resultados esperados estão sendo alcançados
  • Avalia se instrumentos de implementação e governança estão ajustados ao objetivo da intervenção
  • Analisa a eficiência do uso de recursos 
  • Gera insumos para orientar tanto o aperfeiçoamento da política e sua implementação quanto a tomada de decisão sobre sua continuidade, alteração ou expansão.

Tipos de avaliações

Devem estar alinhado com o ciclo de execução da política pública e objetivo que se pretende com o processo avaliativo. Cada abordagem adota conjuntos metodológicos e analíticos específicos que procuram responder às perguntas de avaliação de forma sistemática, objetiva e transparente.

  1. Avaliação executiva 
  2. Análise de diagnóstico do problema 
  3. Avaliação de desenho 
  4. Avaliação de implementação (ou de meio-termo) 
  5. Avaliação de governança 
  6. Avaliação de resultados 
  7. Avaliação de impacto 
  8. Avaliação econômica ou retorno econômico e social 
  9. Análise de eficiência

A AIR é uma ferramenta de melhoria da qualidade regulatória que fornece maior fundamentação técnica e analítica ao ente regulador no momento de sua tomada de decisão, especialmente nos casos de imposição de regras a serem cumpridas.

Trata-se de um processo sistemático de análise baseado em evidências que avalia os possíveis impactos das alternativas de ação disponíveis para o alcance dos objetivos pretendidos a partir da definição de um problema regulatório.

Desde 2021, a AIR é obrigatória para editar, alterar ou revogar atos normativos de interesse geral de agentes econômicos ou de usuários dos serviços prestados por órgãos e entidades da Administração Pública Federal.

Para mais informações, consulte a Lei nº 13.874/2019 e o Decreto nº 10.411/2020.

Por que avaliar

A avaliação de políticas públicas é essencial na gestão pública para gerar informações sistemáticas para planejar, desenhar, implementar, monitorar e promover a aprendizagem sobre políticas, programas e projetos públicos. 

Por que avaliar

Nossas soluções

Uma das missões da Enap é tornar a avaliação de políticas públicas com base em evidências uma prática institucional dos órgãos da administração pública. Fundamentados em metodologias ativas de ensino, nossos serviços são orientados à solução de problemas reais e colocam os participantes como protagonistas do processo de aprendizagem. 

Fornecemos apoio técnico a projetos de avaliação de políticas públicas ao mesmo tempo em que capacitamos equipes para realizar o processo de forma independente e autônoma. 

A Enap também é apoiadora técnica no desenvolvimento das atividades de avaliação e de pesquisa dos comitês do Conselho de Monitoramento e Avaliação de Políticas Públicas (CMAP). Todo ano, a Escola apoia a avaliação das políticas de subsídios e gastos diretos selecionadas para o respectivo ciclo avaliativo.

Assessoria para Avaliação

Com metodologia inovadora e exclusiva desenvolvida pela Enap, é ofertada para equipes de servidores públicos que precisam realizar avaliação ou AIR e necessitam de orientação técnica.

Juntos, assessores e time do projeto percorrem todas as etapas de um processo avaliativo, que deve ser orientado para a solução de problemas reais. Nessa jornada, o protagonismo dos participantes é fundamental e avaliação e aprendizado caminham juntos. 

Todo o trabalho desenvolvido está fundamentado nos Guias Práticos de Avaliação Ex ante, Ex post e Análise de Impacto Regulatório do Governo Federal, estudos práticos e acadêmicos sobre Modelo Lógico, Teoria da Mudança, Gestão por Evidências, Solução de Problemas e boas práticas internacionais em avaliação de políticas públicas.

Assessoria para Avaliação
São pilares do serviço:

Learn by doing

Metodologia facilitada

Fundamentação teórica

Fundamentação em evidências

Qualificação da avaliação

Etapas
1

Análise da demanda

Nesta etapa, a instituição envia sua demanda para análise da Enap. Em seguida, a Enap encaminha proposta de plano de trabalho para avaliação e formalização da parceria. Posteriormente, a instituição transfere os recursos que viabilizam a execução do projeto.

2

Formação do time e contratações de assessores

A instituição forma o time de técnicos que irá acompanhar a avaliação ao longo de toda sua execução. Em paralelo, a Enap contrata os assessores mais adequados para o trabalho.

3

Realização de reuniões e oficinas

As reuniões e oficinas são conduzidas por assessores especialistas em avaliação que orientam tecnicamente o time de técnicos designado pela instituição para avaliar a política pública.

4

Serviço de respostas rápidas em evidências

O Evidência Express (EvEx) fornece produtos técnicos para apoiar a compreensão do problema e contexto da política pública, público-alvo, opções de programas e impactos das ações.

5

Elaboração do relatório final de avaliação

Redigido pelo time de técnicos envolvido no projeto, sintetiza as informações produzidas ao longo do processo de treinamento e desenvolvimento.

Portfólio de produtos

Conheça o portfólio de atendimentos realizados com orientação técnica e metodologia ativa para capacitação em avaliação de políticas públicas.

  • Análise ex ante da Política Nacional de Direitos Humanos (Ministério da Mulher, da Família e dos Direitos Humanos)
  • Avaliação ex post da Política Nacional de Segurança de Barragens (Ministério do
    Desenvolvimento Regional)
  • Análise ex ante da Avaliação Biopsicossocial da Deficiência (Ministério da Mulher, da Família e dos Direitos Humanos)
  • Avaliação de meio de termo da Estratégia de Governo Digital (Secretaria-Geral da
    Presidência da República)
  • Análise ex ante do Plano Nacional de Habitação (Ministério do Desenvolvimento Regional)
  • Avaliação ex post do Plano Nacional de Cultural (Ministério do Turismo)
  • Avaliação ex post do Cadastro Ambiental Rural (Ministério da Agricultura, Pecuária e Abastecimento)
  • Análise ex ante do Programa Cuidar Melhor (Secretaria de Saúde do Ceará)
  • Avaliação ex post do Programa ICMS Esportivo (Secretaria de Estado de Desenvolvimento Social de Minas Gerais)
  • Avaliação ex post da tarifa residencial social de água e esgoto (Agência Reguladora dos Serviços de Saneamento das Bacias dos Rios Piracicaba, Capivari e Jundiaí)
  • Análise de impacto regulatório do aumento da produção de gás oriundo do pré-sal e seus impactos na especificação brasileira do gás natural (Agência Nacional do Petróleo)
  • Análise de impacto regulatório do Componente Especializado da Assistência Farmacêutica (Ministério da Saúde)
  • Educação e formação em saúde
  • Instituições Federais de Ensino Superior
  • Projeto de integração do Rio São Francisco
  • Rede Federal de Educação Profissional, Científica e Tecnológica
  • Subsídio tributário de medicamentos
  • Dedução de despesas com educação no Imposto de Renda de Pessoa Física
  • Isenção do Imposto de Renda de Pessoa Física de parcela dos rendimentos de aposentadoria e pensão de declarante com 65 anos ou mais
  • Operação do Sistema de Controle do Espaço Aéreo
  • Abono salarial
  • Benefícios previdenciários urbanos
  • Subsídio tributário concedido a operações de leasing (arrendamento) de aeronaves e motores
  • Regulamentação da importação de máquinas, equipamentos e suas peças na condição de remanufaturados (Ministério da Economia)
  • Segurança no trabalho em instalações e serviços de eletricidade (NR 10)(Ministério da Economia)
  • Incentivo à conformidade fiscal na dívida ativa da União (Ministério da Economia)
  • Recrutamento na contratação temporária (Ministério da Economia)
  • Gestão e governança das transferências da União (Ministério da Economia)
  • Normatização da contratação de serviços de desenvolvimento, manutenção e sustentação de software para órgãos do Sistema de Administração dos Recursos de Tecnologia da Informação (Ministério da Economia)
  • Segurança no trabalho no setor de limpeza urbana e manejo de resíduos sólidos (Ministério da Economia)
  • Serviços especializados em engenharia de segurança e em medicina do trabalho (Ministério da Economia)

Evidência Express

Serviço de resposta rápida para disseminação, comunicação e síntese de evidências para a administração pública fundamentado em metodologias de pesquisa e de ciência de dados. 

O Evidência Express fornece produtos de evidências de forma a:

  • Definir o objeto e alcance da avaliação
  • Descrever problema, população, contexto, soluções e alternativas de políticas públicas
  • Entender as causas do problema, das ações e seus impactos
  • Sintetizar fontes de informação secundárias, pesquisas científicas e experiências nacionais e internacionais
  • Apoiar a utilização e o entendimento das evidências
Evidência Express
São pilares do serviço:

Uso de evidências sobre experiências exitosas, incluindo custos e benefícios.

Mensuração da efetividade das políticas por meio de avaliações de impacto.

Promoção da transparência das ações governamentais perante a sociedade.

Valorização da cultura de avaliação.

Aperfeiçoamento do processo regulatório e do desenho de políticas públicas.

Etapas
1

Análise da demanda

A instituição envia a demanda a ser analisada pela Enap. As equipes se reunirão para definir o escopo e tipo do produto que melhor atende à demanda.

2

Formalização

A instituição receberá uma proposta de plano de trabalho para avaliação e assinatura e posterior transferência de recursos.

3

Detalhamento da pesquisa:

O Evidência Express se reunirá com a equipe da instituição demandante para refinar detalhes da pesquisa, abrangência e especificações das fontes de dados.

4

Entrega do produto

O produto de evidências é entregue à equipe demandante em até seis semanas após a formalização.

5

Apresentação de resultados

O Evidência Express fará a apresentação dos resultados da pesquisa traduzindo o conhecimento gerado para a linguagem da gestão pública.

Portfólio de produtos

O serviço dispõe de uma prateleira de produtos que visa a responder a diferentes perguntas de pesquisa e de avaliação. São procedimentos sistemáticos que utilizam diferentes abordagens metodológicas para gerar conhecimento sobre intervenções ou problemas de políticas públicas. O tipo do método, e consequentemente do produto, depende do que se almeja visualizar, discutir e apresentar em termos de evidência. Os principais produtos ofertados pelo Evidência Express para os órgãos da administração pública são:

Os Policy Briefs do EvEx apresentam um sumário do problema em formato curto e intuitivo, trazendo a contextualização de variáveis socioeconômicas, situação e resultados de políticas relacionadas, com linguagem acessível para a tomada de decisão. O prazo de elaboração é de cerca de 3 semanas. Nossa equipe já elaborou Policy Briefs sobre os temas de "Saúde preventiva e educação básica", "Moradia para a população mais vulnerável", "Modelos de conformidade regulatória", entre outros.

Os Estudos de Benchmarking do EvEx analisam as experiências internacionais ou subnacionais existentes, resumindo os principais desenhos de políticas, funcionamento e resultados alcançados. O prazo de elaboração é de cerca de 4 semanas.

O Evidência Express já elaborou benchmarkings sobre os temas de "Programas de Residência Médica em Países Selecionados", "Políticas Nacionais de Assistência Estudantil", "Gestão de Segurança de Barragens", entre outros estudos nacionais e internacionais.

As Sínteses Rápidas de Evidências do EvEx empregam metodologias de revisões sistemáticas para mapear, compilar e sintetizar resultados de pesquisas científicas. Permite apresentar o estado da arte do conhecimento sobre determinado problema ou avaliação. Para isso, é necessário que a literatura apresente uma quantidade suficiente de evidências existentes. O prazo de elaboração é de cerca de 5 semanas.

O EvEx já elaborou sínteses rápidas sobre os temas de “Cidades Inteligentes”, “Custos Financeiros de Acidentes de Trabalho no Brasil”, e “O que (não) sabemos sobre tax compliance”.

As Análises Exploratórias de Dados são feitas a partir de bases de dados previamente estruturadas compartilhadas com o EvEx. Pode-se investigar padrões temporais, geográficos ou de características do contexto, do problema ou do público-alvo ou afetado pela política pública. Para isso, usamos métodos quantitativos de análise e de visualização de dados. O prazo de elaboração gira em torno de 4
semanas.

O EvEx tem experiência na elaboração de Análises Exploratórias de Dados sobre os temas de “Indicadores de Contratação de Pessoal por Tempo Determinado”, “Recursos Humanos e de Capital das Instituições Federais de Ensino Superior”, e "Distribuição Espacial de Médicos Residentes no Brasil”, entre outros.

Na elaboração dos produtos de Avaliação de Impacto e Simulações usamos técnicas econométricas para inferência e projeções de tendências. É possível oferecer evidências inéditas sobre as causas ou consequências de determinado fenômeno ou intervenção, quando os dados permitem. O prazo de elaboração gira em torno de 5 semanas.

O EvEx tem experiência na elaboração de avaliações sobre os “Efeitos da NR04 sobre Acidentes de Trabalho” usando desenho de regressão descontínua, “Determinantes da Concessão do Benefício de Prestação Continuada” com modelos logit para dados em painel, “Simulações de Custos de Avaliações do Benefício de Prestação Continuada”, e propostas de “Simulações de Votação por Ranqueamento", entre outros.


Prêmio Evidência

Reconhece iniciativas que utilizam evidências em suas múltiplas etapas, valorizando a interação entre gestão e pesquisa científica. Podem concorrer iniciativas das três esferas de governo.

Cursos

O catálogo reúne certificações avançadas, cursos remotos e online para formação e desenvolvimento em temas de avaliação de políticas públicas e Análise de Impacto Regulatório (AIR).

Publicações

Um acervo com mais de 3 mil publicações acadêmicas e editoriais gratuitas em diversas temáticas, com foco principalmente em administração e gestão, economia e finanças públicas, inovação e gestão de políticas públicas.

Bolsas de pesquisa

O Programa Cátedras Brasil apoia o desenvolvimento de pesquisas aplicadas, projetos orientados a constituir evidências e análise sobre condições do serviço público, reunindo academia e prática. As bolsas de estudo são destinadas a estudantes, professores, pesquisadores e profissionais interessados em se engajar nas atividades da Escola.

Perguntas Frequentes

Ainda com dúvidas? Consulte as perguntas frequentes sobre Avaliação e organização de evidências