Pretende obter uma apreciação através de uma reanálise das atividades relativamente às suas metas, objetivos e aos meios para os alcançar, dos processos de implementação e dos seus resultados. Visa também melhorar os processos de aprendizagem obtendo e encontrando as explicações quanto aos sucessos e aos insucessos das diferentes atividades. Este trabalho permitirá que as atividades futuras possam ser mais relevantes e mais eficientes.

A mais importante e mais direta utilização da avaliação deve ser a de verificar como se está a evoluir face aos objetivos ambicionados. Saber se se está a trabalhar de forma eficiente, se estão a ocorrer os resultados esperados numa perspetiva de aprender como fazer melhor.

Para medir o sucesso ou o insucesso no cumprimento dos objetivos que foram inicialmente delineados existe uma série de dimensões interrelacionadas sobre as quais é importante que tenhamos um entendimento semelhante, na medida em que todos os intervenientes nestes processos devem ter uma mesma percepção sobre os conceitos e metodologias adotados e que estão a ser postos em prática:

• Relevância 
• Eficiência 
• Eficácia 
• Utilidade
• Sustentabilidade

Relevância

Medida utilizada para determinar até que ponto os objetivos do Programa são adequados à realidade. Esta análise deve ser central na fase de planeamento, mas durante a fase de implementação deve também estar presente no sentido de saber se as intervenções do Programa, bem como os seus objetivos, estão ainda em harmonia com as necessidades e prioridades que tinham sido identificadas para os beneficiários no inicio das atividades ou na altura do planeamento inicial.

As prioridades que existem e vão sendo definidas numa sociedade podem mudar com o correr do tempo, como resultado de mudanças sociais, politicas, demográficas ou ambientais. Assim, um Programa pode já não ter tanta importância como na altura em que foi concebido.

Muitas vezes a continuação da relevância do Programa depende de uma correta apreciação inicial das necessidades bem como do núcleo central de objetivos em relação ao qual o Programa foi concebido e desenvolvido.

Eficiência

Corresponde à medida da relação económica entre os recursos afetos e os resultados obtidos através do Programa (custo/benefício). É uma medida de produtividade para verificar até que ponto os resultados gerados derivam de custos aceitáveis.

Inclui o uso eficiente dos recursos financeiros, humanos e materiais. Por outras palavras a análise de eficiência quer verificar se o uso de recursos afetos é justificável relativamente aos resultados gerados. Estes recursos podem ser financeiros, temporais, humanos, ou de equipamento.

Existem algumas sugestões a seguir para este exercício de Medida da Eficiência:

• Comparar os recursos afetos ao Programa específico que estamos a implementar com outras atividades que sejam do mesmo tipo e que sejam comparáveis;
• Usar elementos de “boas práticas” já conhecidos e referenciados;
• Usar critérios para julgar com a objetividade possível aquilo que for razoável;
• Encontrar respostas para determinadas perguntas: poderia o Programa ter chegado aos mesmos resultados com custos mais baixos? Poderia o Programa ter atingido mais e melhores resultados com os mesmos custos?

Eficácia

Equivale à medida do grau em relação ao qual foram atingidos os objetivos enunciados inicialmente. É pois naturalmente importante que, desde o início, exista uma clara e inequívoca definição de objetivos e metas a atingir. Quando os avaliadores são confrontados com uma definição de objetivos imprecisa ou irrealista torna-se difícil a medida da eficácia.

Existem algumas sugestões a seguir para este exercício de Medida da Eficácia:

• As realizações atingiram os objetivos enunciados?
• Existiram efeitos de sinergia internos e externos do Programa em termos de “valor acrescentado” setorial, regional, nacional e comunitário?
• Quais as razões que justificam que os níveis de eficácia atingidos sejam diferentes dos esperados?

Utilidade

Diz-nos em que medida as ações realizadas produziram alterações face à situação inicial, ou seja, julga o impacte obtido pelo Programa. O impacte do Programa é, assim, a medida de todos os efeitos e mudanças, quer positivos, quer negativos, provocadas pelo seu desenvolvimento, quer tenham sido planeadas, quer não.

É talvez a mais difícil e exigente componente da Avaliação uma vez que é necessário estabelecer condições causais complexas que são às vezes difíceis de comprovar.

Vale a pena ter em conta que aqui se entrecruzam várias vertentes que dizem respeito ao planeamento, quer geral, quer estratégico, quer ainda ao planeamento das ações.

As perguntas para as quais se procuram respostas podem ser do seguinte tipo:

• A estratégia concebida foi útil e eficaz?
• Quais são os resultados efetivos do Programa que implementámos?
• Que diferenças se obtiveram junto dos Beneficiários e como foram eles afetados?
• Que tipo de efeitos sociais, económicos, técnicos, ambientais, existiram em relação aos indivíduos, comunidades e instituições?
• Que efeitos, positivos e negativos, previstos e inesperados, resultaram das atividades do Programa?

Sustentabilidade

Corresponde à medida da continuidade dos projetos ou dos seus resultados positivos, após a conclusão de intervenção.

Acontece, com frequência, que muitas das iniciativas de desenvolvimento concretizadas, muitas vezes com afetação de uma grande quantidade de recursos financeiros, de recursos humanos ou de equipamento, falham logo que termina a fase de implementação, quer por não haver meios ou a capacidade e motivação para fornecer os recursos necessários para a sua continuação, quer ainda por outras razões, não excluindo a hipótese de terem existido sistemas de Monitorização e de Avaliação ineficazes.

As dimensões ambientais, financeiras, institucionais e sociais tornaram-se matérias essenciais de análise na apreciação da sustentabilidade.

Existe um conjunto de fctores que pode ser utilizado para garantir que os projetos serão sustentáveis e continuarão depois da conclusão do financiamento externo, os quais não devem ser ignorados na medida em que está em causa a utilização racional dos recursos. Entre estes fatores incluem-se:

• Económicos (despesas futuras, especialmente custos correntes)
• Institucionais (capacidade administrativa, capacidade técnica, motivação institucional)
• Sociais (interesse da comunidade, vontade politica)
• Fatores relacionados com benefícios ambientais de um modo geral

Para quem se destina a Avaliação?

A Avaliação do QREN – Quadro de Referência Estratégico Nacional  e dos Programas Operacionais (PO), destina-se aos organismos responsáveis pela Governação do QREN: Comissões Ministeriais de Coordenação do QREN e dos PO, Autoridades de Gestão e Comissões de Acompanhamento dos PO, Observatório do QREN, IFDR – Instituto Financeiro para o Desenvolvimento Regional e IGFSE – Instituto de Gestão do Fundo Social Europeu.

Também é destinatária a Comissão Europeia, num contexto de gestão partilhada dos Fundos Estruturais, bem como os Beneficiários diretos das intervenções.

Num contexto de transparência na aplicação dos recursos públicos são também destinatários os cidadãos em geral.

Como se distingue Avaliação de Monitorização?

Apesar dos termos Monitorização e Avaliação serem por vezes utilizados indiferentemente, eles correspondem a duas atividades organizacionais distintas, relacionadas mas não idênticas.

A Monitorização é uma recolha e análise sistemática de informação operada à medida que o projeto evolui. É baseada em metas e atividades estabelecidas e contribui para manter o acompanhamento dos trabalhos, informando os decisores quando algo corre mal. Se realizada de forma adequada é um instrumento essencial para uma boa gestão e fornece uma boa base para a avaliação. Permite saber se os recursos disponíveis são suficientes e se estão a ser bem utilizados, se a capacidade instalada é suficiente e adequada e se se está a fazer o que foi planeado.

A Avaliação on-going analisa o que se está a realizar, o que se conseguiu e como se conseguiu, e interpreta as razões de eventuais desvios e/ou problemas. Nesta perspetiva é levada a cabo durante a fase de implementação dos Programas com a finalidade de melhorar a estratégia ou o modo de funcionamento.

O que ambas têm em comum é o fato de estarem direcionadas para retirar lições sobre o que se está a fazer e como se está a fazer, focalizando a atenção nos seguintes conceitos já por nós abordados:

• Eficiência
• Eficácia
• Impacte

A Monitorização e a Avaliação são, pois, dois instrumentos diferentes de gestão que estão diretamente relacionados e que se apoiam de forma interativa.

A Monitorização fornece os dados quantitativos e qualitativos necessários para conceber e levar a cabo a Avaliação. Por outro lado, as avaliações apoiam as atividades de monitorização. Através dos resultados obtidos nas avaliações periódicas, os instrumentos de monitorização e as estratégias de ação podem ser afinadas e desenvolvidas de forma mais aprofundada.

No quadro seguinte apresenta-se uma comparação entre as atividades de Monitorização e as de Avaliação.

	Monitorização	Avaliação on-going
Frequência	Periódica, regular	Pontual
Atividade principal	Análise, acompanhamento e verificação da informação regular sobre o estado de execução	Análise e interpretação da informação de forma a compreender a evolução face aos objetivos, explicar os efeitos, interpretar os desvios e apontar trajetórias alternativas
Objetivo	Melhorar a Eficiência imediata na afectação de recursos	Melhorar para além da eficiência, a eficácia a afetação de recursos e aferir impactes
Fontes de Informação	Sistemas de Informação	Sistemas de informação, inquéritos, estudos e entrevistas
Entidades envolvidas	Autoridades de Gestão e responsáveis pela Monitorização estratégica e operacional do QREN	Membros da Rede de Avaliação QREN e Avaliadores independentes

Adaptado de UNICEF, A UNICEF Guide for Monitoring and Evaluation: Making a Difference?