Aumento de conhecimentos/competências

Saída

número ou % de [especificar o grupo-alvo] com maior conhecimento e/ou habilidade em [especificar o tópico]

Este indicador mede em que medida projecto (por exemplo, atores da sociedade civil, representantes governamentais, estudantes e outras partes interessadas) adquiriram conhecimentos ou competências como resultado das atividades de aprendizagem e transferência de competências projecto, tais como formação, workshops, demonstrações, mentoria, coaching, sessões de sensibilização ou outras atividades de reforço de capacidades. Centra-se em determinar se os participantes melhoraram a sua compreensão e/ou capacidade prática numa ou mais áreas temáticas específicas visadas pela intervenção.

Determine o valor do indicador utilizando a seguinte metodologia:

 

1)Defina as principais áreas de conhecimento e/ou competências que o projecto reforçar. Estas devem corresponder aos objetivos de aprendizagem da intervenção e ser claramente definidas antes da recolha de dados. Certifique-se de que a equipa aplica de forma consistente a distinção entre conhecimento (melhor compreensão ou consciência de conceitos, políticas ou procedimentos) e competências (a capacidade de aplicar esse conhecimento de forma eficaz).

2)Conceba uma abordagem de medição adequada, considerando o seu público-alvo, para avaliar a mudança em conhecimentos e/ou competências. Isso geralmente requer a medição da diferença entre a linha de base (a situação antes do apoio) e o estado pós-intervenção (a situação após o apoio). As opções mais comuns incluem:

• Teste padronizado de conhecimentos e/ou competências: Administre o mesmo teste ou um teste equivalente antes e depois da intervenção e compare as pontuações de cada participante.

• Autoavaliação: Peça aos participantes que classifiquem o seu nível de conhecimento e/ou habilidade relacionado a cada uma das áreas avaliadas antes e depois da intervenção, usando uma escala padrão (por exemplo, 1 = muito baixo, 5 = muito alto).

• Observação ou avaliação prática do desempenho: Observe diretamente os participantes a realizar tarefas relevantes ou a demonstrar competências em ambientes reais ou simulados e registe o seu desempenho utilizando um formulário de observação estruturado.

Se o indicador incluir competências, deve ser utilizado pelo menos um método que capte a aplicação na prática. Este pode ser a observação direta, tarefas práticas ou indicadores baseados em evidências que avaliem o trabalho realizado (por exemplo, avaliação dos resultados do trabalho utilizando critérios de qualidade pré-definidos, avaliação estruturada do desempenho das tarefas por um formador ou mentor com base na aplicação observada, ou simulações baseadas em tarefas pontuadas de acordo com padrões claros).

3)Defina um limite mínimo para melhoria que defina «aumento de conhecimento e/ou habilidade». Exemplos:

• Uma melhoria mínima percentual entre as pontuações pré e pós-teste (por exemplo, aumento de pelo menos 20%).

• Uma mudança de pelo menos um ponto para cima numa escala de autoavaliação de 5 pontos.

• Melhoria comprovada no desempenho das tarefas de acordo com critérios estabelecidos.

Evite definir requisitos irrealisticamente elevados ou desnecessariamente baixos, verificando a dificuldade do método de avaliação através deum pré-testecom pelo menos 10 pessoas.

4)Recolher os dados pré-intervenção de toda a população-alvo ou da sua amostra representativa, conforme apropriado.

5)Recolha os dados pós-intervenção. Repita a recolha de dados, idealmente imediatamente após a intervenção e, se possível, novamente numa fase posterior para avaliar a retenção. Certifique-se de que os inquiridos tiveram tempo suficiente para interiorizar ou aplicar o que aprenderam. Os mesmos indivíduos devem ser avaliados em todos os pontos de medição para permitir a comparação individual entre os resultados pré e pós-intervenção.

6)Avalie os resultados ao nível dos participantes. Calcule quantos participantes atingiram o limite mínimo exigido para o aumento de conhecimentos e/ou competências definido na etapa 3.

7) Para calcular o valor do indicador, divida o número de participantes que atingiram o limite definido de aumento de conhecimento/habilidade pelo número total de participantes avaliados. Multiplique o resultado por 100 para convertê-lo em percentagem.

Os dados podem ser desagregados por género, faixa etária, área geográfica e/ou outras características relevantes (por exemplo, tipo de formação ou tema, organizações visadas), dependendo do contexto e do foco projectoseu projecto.

1) Ao pesquisar uma amostra em vez da população-alvo completa, certifique-se de que ela seja suficientemente grande para compensar a evasão no estudo final, pois não os inquiridos da linha de base estarão disponíveis nessa fase. Isso ajuda a garantir que a avaliação pós-intervenção continue representativa (o tamanho da amostra permanece grande o suficiente) e permite que os dados sejam recolhidos dos mesmos inquiridos tanto na linha de base quanto estudo final

2) Se pretende avaliar tanto os conhecimentos como as competências, basear-se apenas em pré-testes e pós-testes pode não ser suficiente. Podem ser necessários métodos adicionais, como observação ou avaliações práticas de desempenho, para avaliar adequadamente o aumento das competências.

3) As etapas metodológicas acima recomendama recolha de dados pré e pós-intervenção para capturar até que ponto os inquiridos melhoraram (ou não) os seus conhecimentos e/ou competências. No entanto, quando a recolha de dados de referência não for não ou os testes pré e pós-intervenção forem inadequados para o grupo-alvo, pode ser utilizado um formulário de avaliação baseado na recordação como alternativa. Esses formulários podem incluir perguntas contrafactuais ou de referência, por exemplo:

• Em que medida diria que o apoio prestado por [ especificar organização/ator] influenciou o seu conhecimento sobre [ especificar o tema]?

• Você adquiriu alguma habilidade ou conhecimento que não antes?

Uma pontuação composta por várias dessas perguntas pode ser usada para definir «aumento de conhecimento e/ou habilidade». Esse formulário de avaliação também é útil para recolher feedback para melhorias na intervenção.

As abordagens baseadas em recordações devem ser tratadas como uma segunda melhor opção e utilizadas apenas quando não for possível recolher dados de referência, uma vez que o enviesamento das recordações e o enviesamento da desejabilidade social podem inflacionar os resultados, particularmente em contextos de formação Doador. As conclusões dos métodos baseados em recordações devem, portanto, ser interpretadas como mudanças percebidas, não mudanças não .

4) Se projecto seu projecto medir se a população-alvo possui um nível específico de conhecimentos e/ou competências — em vez de medir se houve uma melhoria ao longo do tempo — utilize o indicador % de [especificar o grupo-alvo] com os conhecimentos/competências desejados de [especificar o tópico] . A vantagem desta abordagem é que não recolher dados de referência e de acompanhamento dos mesmos inquiridos.

5) Decida se pretende medir o efeito direto de uma actividade pontual actividade por exemplo, uma demonstração) ou o efeito de um processo de aprendizagem mais longo (por exemplo, uma série de várias sessões de formação ao longo de um período de tempo).

6)Se utilizar autoavaliações, valide-as com uma verificação externa para reduzir o viés. Peça aos formadores ou colegas que avaliem se os participantes conseguem demonstrar os conhecimentos ou competências que eles próprios avaliaram. Esta etapa de verificação garante que os resultados refletem a aprendizagem real, em vez de perceções subjetivas.

7) Se possível,realize a «pós-avaliação» duas vezes: uma vez imediatamente após actividade de «reforço de capacidades» (mostrando a aprendizagem imediata); e, em seguida, 1 a 2 meses depois (mostrando os conhecimentos e/ou competências que as pessoas realmente recordam e podem utilizar). No entanto,as avaliações não de se relacionar actividade com uma única actividade (por exemplo, formação) — elas podem ser fornecidas durante as estudo final de base e estudo final , avaliando a mudança geral no conhecimento e/ou nas competências específicas da população-alvo.

8) Com base na sua análise de acessibilidade e género , avalie se são necessárias medidas adicionais para garantir uma avaliação justa e precisa para todos os inquiridos e, quando necessário, implemente-as. Estas podem incluir a oferta de vários formatos de recolha de dados (escrito, oral ou digital) para acomodar diferentes capacidades; garantir que os locais de avaliação sejam acessíveis; permitir horários flexíveis para os participantes que precisarem; permitir o uso de aplicações ou programas assistivos; e fornecer materiais de apoio, como textos em letras grandes ou SIDA visual. Use linguagem e exemplos neutros em termos de género em todas as perguntas e desagregue e interprete os resultados por género para identificar se meninas/mulheres jovens, meninos/homens jovens ou jovens não binários experimentam resultados de aprendizagem ou barreiras diferentes.

9) Se for relevante, considere perguntar aos inquiridos onde adquiriram os conhecimentos/competências. Isso poderá ajudá-lo a compreender a contribuição da sua intervenção.

10) Se possível, adicione perguntas para recolher feedback sobre a utilidade e relevância do reforço de capacidades. Utilize os resultados para melhorar a intervenção.

11) Para reforçar a aprendizagem e a responsabilização, partilhar os resultados das avaliações com os participantes, sempre que possível e apropriado, e utilizá-los para aperfeiçoar futuras iniciativas de desenvolvimento de capacidades.