Caracterização dos Assessment Management Systems

Existe actualmente, nos meios académico e profissional, a noção de que é cada vez mais importante "medir" os níveis de conhecimento nos diferentes ambientes de trabalho. Desde 1959, graças ao modelo de avaliação proposto por Donald L. Kirkpatrick, que existem quatro níveis de avaliação da performance, que servem de guia para os formadores. Esses níveis podem ser considerados da seguinte forma: 1) Reacções; 2) Aprendizagem; 3) Transferência; 4) Resultados.

De seguida, caracterizamos de forma mais detalhada cada um dos quatro níveis:

Nível 1 - Avaliação da reacção dos participantes ao sistema. Visa proporcionar que o sistema de formação seja objecto de uma avaliação crítica, ou seja, pretende avaliar o grau de satisfação dos vários intervenientes no processo formativo.

Nível 2 - Avaliação dos conhecimentos dos participantes. Visa avaliar até que ponto os formandos estão a adquirir os conhecimentos pretendidos e predefinidos no diagnóstico de necessidades de formação (saber saber).

Nível 3 - Avaliação do comportamento dos participantes. Visa avaliar em que medida os novos conhecimentos adquiridos estão a modificar os comportamentos e, portanto, a ser postos em prática, melhorando assim o seu desempenho (saber fazer e/ou saber estar).

Nível 4 - Avaliação dos resultados da formação e respectivo impacto. Visa avaliar a variação detectada (análise do gap detectado no diagnóstico de necessidades de formação) a partir de indicadores palpáveis. Por outras palavras, avaliar o retorno do investimento (ROI).

Existem "medidores" da eficácia da formação que se podem ajustar de acordo com o perfil funcional dos postos de trabalho. Normalmente esta eficácia mede-se por:

• Melhor nível de proficiência;
• Menor tempo de execução de tarefas;
• Menor número de reclamações por unidade de tempo ou serviço;
• Melhoria da qualidade dos produtos face aos anteriores;
• Modificação dos processos produtivos;
• Aumento das receitas por mudanças estratégicas originadas pela formação (em resumo, avalia o ROI).
  

De facto, são os indicadores palpáveis que vão convencer os empresários e os gestores de que a formação não deve ser encarada como um custo, mas antes como um investimento rentável a médio e, por vezes, a curto prazo. Quando estamos perante a formação presencial, podemos dizer que o modelo tradicional adoptado pode ter sido o nível 1 - Reacção. Algumas empresas conseguem evoluir para outros níveis de avaliação de Kirkpatrick, tais como: o que o formando aprendeu; poderá o formando aplicar os conhecimentos no desempenho das suas funções; ou em termos do resultado da aprendizagem, que tipo de impacto provocou no negócio?

Toda esta introdução sobre a "medição" da eficácia da formação, mostra-nos claramente que necessitamos de uma ferramenta para nos ajudar a realizar essa "medição". Na formação a distância, a avaliação formativa tem um papel de grande relevo no auxílio aos participantes, monitorizando o seu percurso. Um Assessment Management System terá de fornecer ferramentas de suporte a formadores e formandos ao longo do processo de avaliação. Deverá conter recursos que apoiem o formador nas actividades de planeamento, no registo e organização da informação relacionada aos testes, assim como na reedição dos conteúdos dos testes.

O fornecimento de feedback aos formandos de forma continuada é um elemento fundamental no processo de gestão da avaliação em e-learning, fazendo com que os participantes tenham a noção das suas dificuldades e permitindo que estes possam corrigir as suas acções. Existem vários sistemas AMS (Assessment Management System) independentes bastante completos, cuja função é totalmente vocacionada para a gestão da avaliação.

Características dos AMS

Este tipo de software específico está vocacionado para criar e disponibilizar testes, questionários e avaliações através de CD-ROM, intranets, ou Internet. Permitem:

• Criar facilmente perguntas;
• Organizar múltiplos bancos de perguntas para testes aleatórios;
• Distribuir testes interactivos nas intranets e Internet;
• Fornecer aos participantes feedback instantâneo, em função das respostas fornecidas;
• Visualizar os resultados online;
• Estabelecer ligações para sistemas de gestão de aprendizagem (LMS);
• Exportar respostas para relatórios personalizados;
• Armazenar respostas, pontuações e resultados em bases de dados.
  

Estes sistemas, na sua generalidade, são acompanhados de quatro tipos de testes (diagnóstico, exame, quizzes e testes), contendo até duas dezenas de tipologias de questões, incluindo drag and drop, múltipla escolha, hotspots, chegando mesmo a incluir questões com tecnologia Macromedia Flash.

Relatórios

Alguns destes sistemas também possuem uma grande capacidade de geração de diferentes tipos de relatórios, alguns deles totalmente personalizáveis. Esses relatórios trazem informações individuais e colectivas sobre desempenho, participação, análise de respostas, análise de sessões, etc. Incluem-se dados em formato gráfico para melhor visualização.

Interfaces

Existem diferentes áreas de interacção com estes sistemas, tal como nos LMS, desde a interface de administração (para gestão de questões, testes, relatórios e utilizadores), até à interface de participante/ formando (para a submissão de testes e visualização de relatórios das classificações obtidas).

Repositório

Tal como os LCMS (Learning Content Management System), os Assessment Management System, também podem conter um repositório central, que torna mais fácil e mais rápido organizar, armazenar e garantir a segurança e publicar conteúdos das avaliações. Os autores podem trabalhar directamente em repositórios locais ou remotos (compartilhados), sozinhos ou colaborando com outros autores. Um repositório pode conter todas as suas questões e avaliações, além dos recursos multimédia, modelos e conteúdos instrucionais que os suportem.

Gestão do fluxo de trabalho

Existem soluções que contêm um módulo de gestão do fluxo de trabalho (workflow), permitindo que as organizações definam, controlem e documentem a evolução das questões, desde a sua criação, à sua publicação.

Segurança

Estes sistemas contemplam ainda a possibilidade de lançamento de testes num ambiente "seguro", no qual os exames estão disponíveis através de um browser que está condicionado em termos de algumas funções, tais como: impressão, navegação, partilha de ecrã e funções para guardar no disco local.

Compatibilidade

Alguns sistemas de gestão da avaliação possuem um elevado grau de compatibilidade com os sistemas de gestão da formação (LMS), prevendo eventuais integrações para se complementarem.

Standards

São sistemas compatíveis, na sua generalidade, com os standards ADL SCORM, IMS, LOM (Learning Object Metadata), IMS QTI, e AICC HACP. Os AMS podem exportar as questões em formato QTI XML de forma a que possam ser integradas de acordo com as especificações standard IMS QTI. Os testes podem ser compilados em SCORM, AICC de forma a serem integrados em LMS.

Entre as aplicações correntes dos AMS podemos destacar as seguintes:

• Necessidades de formular perguntas através de um computador, localmente ou a distância e, caso necessário, guardar as pontuações e proporcionar feedback instantâneo.
• Utilização para testes de aptidão, exames de conhecimento dos produtos e recrutamento de pessoal. Poderão realizar-se avaliações e questionários a fim de determinar as atitudes dos empregados e quantificar o grau de satisfação do cliente.
• Utilização na educação para distribuir exames e questionários aos estudantes, para auxiliares de estudo, testes de diagnóstico e avaliações curriculares.
• Os formadores empresariais podem utilizar um AMS para determinar o tipo de formação que o pessoal precisa, a sua aptidão para certos cursos, criar materiais de ensino de auto-gestão, ou para administrar testes de experiência. Outras aplicações incluem a avaliação de aptidões pré-cursos, testes universitários/de faculdades, escolas comerciais/certificados de organização, guias de estudantes e publicação de testes pré-configurados.

* Paulo Silva é consultor na unidade estratégica de negócios de e-Learning da Sinfic.

 
Produzido em 2005