Série 4 | Curso 2
Recursos Educacionais Abertos
Aula 4
Monitoramento e avaliação da qualidade de REA
Esta é a última aula do nosso curso. Esperamos que ao final desta aula você possa:
Qualidade de Recursos Educacionais Abertos
Ao longo dos últimos anos, houve aumento do uso de tecnologias digitais e acesso a dispositivos móveis. A internet oferece ao cidadão uma quantidade incomensurável de informações em todas as áreas do conhecimento (MENDONÇA, 2015, p.1). Esse fenômeno se explica pelo fato de cada indivíduo possuir liberdade de publicação e compartilhamento de conteúdo nas plataformas disponíveis na web, como blogs, sites de vídeos (Youtube, Vimeo) e redes sociais (Instagram, Facebook, WhastApp e Twitter). Por esse motivo, a qualidade dos recursos educacionais que circulam pela rede tem preocupado a comunidade educacional.
No contexto dos Recursos Educacionais Abertos, podemos entender qualidade como uma propriedade atribuída a um produto de acordo com um conjunto pré-estabelecido de dimensões e critérios.
A avaliação da qualidade de Recursos Educacionais Abertos é uma atividade que permeia todas as etapas do ciclo de produção de um recurso educacional e assume um aspecto multidimensional: presente em todas as etapas, com diversos enfoques, de caráter processual e multidisciplinar, com a participação de diversos atores.
Com objetivo de promover aprendizagens efetivas e garantir a abertura, a avaliação da qualidade dos recursos educacionais é um processo que orienta e promove qualidade ao produto final do ciclo de produção de Recursos Educacionais Abertos.
Por que avaliar a qualidade de REA?
Considerando a diversidade dos recursos educacionais disponíveis nem todos abertos (REA), nos deparamos com o desafio de garantir a qualidade do conteúdo, assim como o cumprimento dos princípios de liberdades mínimas de REA.
Ciclo de Produção de REA
O ciclo de produção é composto por seis (6) fases, que vão desde o planejamento até o monitoramento e avaliação do recurso:
Fonte: adaptado de Filatro (2008).
-
1 -
Planejamento
Nesta fase, define-se o problema educacional, contexto da aprendizagem, o público-alvo, as metas e os objetivos de aprendizagem, dentre outras características relevantes. É importante levar em consideração a instituição, implicações sobre o ambiente, recursos disponíveis (financeiro, infraestrutura, recursos humanos) e prazos para, então, definir as mídias a serem utilizadas ou produzidas, formato do curso (autoinstrucional, com tutoria ou híbrido), detalhando a forma de disponibilização dos conteúdos, atividades de avaliação, atualização e sustentabilidade do curso.
-
2 -
Desenvolvimento
Nesta fase é que efetivamente ocorre a produção dos materiais planejados anteriormente, implantação do material produzido no ambiente virtual de aprendizagem e testes de validação.
-
3 -
Depósito
Nesta fase, o recurso é incluído no repositório e os metadados descritos de acordo com os padrões adotados.
Guia de Uso
Recomendamos acrescentar um Guia de Uso para facilitar a reutilização do Recurso. Este guia deverá apresentar:
- Metadados básicos: (Identificador título, descrição, palavra-chave, cobertura, estrutura, versão, contribuintes, instituição, data); orientações sobre aspectos técnicos: formato, tamanho, requisitos para o uso, comentários sobre instalação, requisitos para outras plataformas, duração;
- Informações sobre aspectos educacionais e pedagógicos associados, tais como: objetivo de aprendizagem, público-alvo, contexto, faixa etária, dificuldade, tempo previsto para aprendizagem;
- Apresentar as condições de uso e licença e as informações de relacionamento com outros REA
Fonte: Adaptado de XXX
-
4 -
Publicação
Nesta fase, verifica-se o preenchimento adequado de todos os metadados, pode haver uma nova validação e teste do recurso educacional para publicação no repositório.
-
5 -
Monitoramento
Aplica-se estratégias de monitoramento, como enquetes de satisfação, contagem de número de downloads, compartilhamentos, curtidas, rankeamento, alcance nas redes sociais e rastreabilidade.
Rastreabilidade
Desde o início da adoção de recursos educacionais abertos, os aspectos referentes a interoperabilidade e rastreabilidade se tornaram um assunto na pauta de diversos grupos de especialistas. Com isso, surgiram alguns padrões técnicos, como o AICC, SCORM e, mais recentemente a especificação aberta TinCan ou ExperienceAPI (xAPI).
O padrão xAPI permite que o conteúdo de aprendizagem e os sistemas de aprendizagem falem entre si de uma maneira que registre e rastreie todos os tipos de experiências de aprendizado. Com isso fica possível, através da adoção de padrões técnicos, avaliar por exemplo como um determinado recurso está sendo utilizado, e a partir do resultado promover adaptações num recurso ou curso.
-
6 -
Avaliação
Compreende a avaliação dos resultados das estratégias de monitoramento para recomendações de atualização do recurso educacional ou exclusão.
O resultado que se pretende obter com o processo avaliativo depende de questões específicas de cada recurso, tais como: características, contexto, público, instituição e política que definirá sobre como e em que momento a avaliação deve ser aplicada no âmbito de um processo.
Métodos e instrumentos de avaliação
Métodos
Antes de pensar em avaliação, é preciso conhecer os métodos que podem ser utilizados para avaliar um recurso educacional aberto, suas vantagens e desvantagens e instrumentos de avaliação.
| Método | Aplicado por | Vantagens | Desvantagens |
|---|---|---|---|
| Guias | Equipe de produção | Auxiliam a equipe no desenvolvimento | Não há participação de pessoas externas (especialistas e usuários) |
| Avaliação por especialistas | Editores especialistas no tema | Incorporam melhorias no recurso, incentivam o trabalho colaborativo | Custo alto |
| Avaliação por usuários | Usuários e alunos | Sugestão de melhorias, adaptações, incentivam o trabalho colaborativo | Conflito de interesses |
Fonte: Quadro adaptado baseado no trabalho de Mendonça, 2013.
Instrumentos de avaliação
Guias de orientação
Guias de orientação
Os guias de orientação são manuais práticos que contém informações detalhadas sobre aplicação e verificação de critérios
Formulários
Formulários
Os formulários de avaliação, survey ou checklists de verificação, são desenvolvidos a partir dos critérios e indicadores definidos para auxiliar especialistas e usuários na avaliação do recurso
Testes de validação
Testes de validação
Os testes de validação são realizados por especialistas, técnicos e/ou usuários baseados em roteiro pré-definido. O teste é aplicado a partir da observação do recurso e pode contar com um formulário para registro dos resultados
Fonte: Quadro adaptado baseado no trabalho de Mendonça, 2013.
Métodos e instrumentos se sobrepõem de maneira complementar e combinada. Além disso, possibilitam a avaliação da qualidade dos recursos educacionais abertos em múltiplas dimensões.
A avaliação deverá ser um processo transparente e contínuo segundo determinadas dimensões ou critérios de qualidade. Tendo como referência a proposta de Belfer, K., Nesbit, J., & Leacock, T. (2003), apresentamos nove critérios:
| Qualidade de conteúdo | Refere-se ao nível de precisão e confiança do conteúdo, assim como também com a existência de parcialidades (preconceitos), erros e omissões. |
| Alinhamento com o objetivo de aprendizagem | Avalia o quanto o conteúdo e as atividades de aprendizagem estão alinhadas com os objetivos, e se os objetivos de aprendizagem estão de acordo com a proposta e objetivo do curso. |
| Feedback e adaptação | Confere a capacidade do recurso educacional de fornecer feedback e de se adaptar às necessidades do usuário. Tal adaptação pode estar relacionada com a localização do recurso de aprendizagem para uma cultura ou idioma específico, ou até mesmo com a capacidade de mudar a sua apresentação e conteúdo de acordo com um determinado estilo de aprendizagem do aluno. |
| Motivação | Avalia a habilidade do recurso de aprendizagem em reter a atenção do usuário, ou seja, se o recurso é atrativo e gera interesse pelo tema que apresenta. |
| Design de apresentação | Refere-se à qualidade na apresentação do recurso e de todos os itens que o compõem (texto, audiovisual, animações, gráficos, ícones). A estrutura organizacional da informação propicia a efetiva identificação dos elementos presentes no recurso; o texto é legível e com uma formulação clara. |
| Usabilidade de interação | Avalia o quanto é fácil para o aluno navegar no curso ou usar o recurso. Uma boa usabilidade irá apresentar layout, estrutura consistente e fácil navegação/utilização. Facilidade de contato com o professor e/ou suporte técnico. Compatibilidade com navegadores e disponibilidade de recursos para pessoas com poucos recursos tecnológicos. |
| Acessibilidade | Refere-se aos critérios para garantir que pessoas com deficiências visuais, auditivas e motoras possam acessar a informação sem dificuldade. As recomendações abordam desde o design de apresentação até as recomendações relativas ao código (HTML e CSS, por exemplo). |
| Reusabilidade | Verifica o potencial do recurso de aprendizagem ser utilizado em outros cursos e diferentes contextos. Questões como a granularidade e a abertura/licenças (openness) irão influenciar a reusabilidade do mesmo para diferentes cenários. |
| Conformidade com padrões | Avalia se os campos de metadados associados ao recurso de aprendizagem seguem os padrões internacionais e se estão completos e devidamente descritos. Verifica também se os recursos estão de acordo com os padrões técnicos abertos, podendo ser acessados independentemente de programas e formatos específicos e de vários dispositivos (computador ou dispositivos móveis). |
Fonte: Adaptado da proposta de Belfer, K., Nesbit, J., & Leacock, T. (2003)
Indicadores
Existem alguns aspectos que podem ser analisados para determinar a qualidade de uma informação, assim como dos recursos educacionais abertos. Aqui, sugerimos alguns indicadores que devem ser considerados em um processo de desenvolvimento ou de avaliação, sem excluir, entretanto, a possibilidade de adoção de outros, de acordo com necessidades específicas.
Para melhor entender a relação entre os critérios e agrupá-los em dimensões de avaliação da qualidade, identificamos as possíveis similaridades, complementaridades e divergências entre as iniciativas consideradas mais relevantes. Por fim, agrupamos os critérios em dimensões, conforme apresentamos a seguir:
Fonte: a partir de Freepik
-
Qualidade
de conteúdo
- O recurso apresenta detalhadamente público-alvo e contexto a que se destina?
- Os conteúdos apresentados no curso correspondem ao contexto e à realidade profissional do público-alvo?
- O conteúdo é objetivo e apresenta formulação equilibrada de ideias?
- O conteúdo foi validado por algum comitê científico ou passou por revisão editorial de outros especialistas no assunto?
- As informações e orientações apresentadas são aplicáveis no contexto de trabalho do público-alvo?
- As informações apresentadas estão atualizadas?
- O conteúdo está cientificamente fundamentado com base em estudos, pesquisas, protocolos, consensos ou melhor prática científica ou clínica?
- As fontes científicas dos principais conceitos e condutas recomendadas estão devidamente citadas?
- As fontes são de origem amplamente reconhecida e com boa reputação?
- O conteúdo apresenta palavras técnicas ou jargões desconhecidos pelo público-alvo?
- As imagens utilizadas ajudam a entender os textos?
- O recurso apresenta créditos dos autores e equipe que o desenvolveu (ficha técnica)?
- O recurso menciona as parcerias envolvidas?
-
Alinhamento
com o objetivo de aprendizagem
- Os objetivos de aprendizagem estão alinhados com o currículo e/ou os objetivos da instituição?
- Os objetivos de aprendizagem estão apresentados de forma clara e objetiva?
- O conteúdo apresenta coerência com os objetivos?
- Os objetivos estão adequados ao público-alvo?
- As atividades de fixação, avaliação possibilitam que o aluno alcance os objetivos definidos?
-
Feedback e
adaptação
- As avaliações fornecem feedback para o aluno?
- Os feedbacks das avaliações permitem a compreensão e a correção das respostas?
- O recurso apresenta mensagens claras de alertas ou de erros?
- O recurso é multi-idiomas?
- O recurso apresenta o mesmo conteúdo em mídias diferentes (áudio, vídeo, texto)?
- O recurso oferece possibilidade de contato com o professor?
- O recurso pode ser acessado de diversos dispositivos?
-
Motivação
- O recurso gera interesse no tema apresentado?
- O recurso oferece recursos de interação?
- Os textos são muito longos?
- O recurso oferece algum tipo de recompensa, tais como selos ou medalhas, pela conclusão atividades?
-
Design de
apresentação
- O recurso apresenta visual agradável e limpo?
- O recurso apresenta estrutura organizacional adequada (texto, menus e botões) e sempre no mesmo lugar?
- O recurso apresenta identificação eficaz dos elementos presentes no recurso (legendas, títulos etc)?
- O recurso apresenta elementos gráficos legíveis e com cores adequadas (imagens, gráficos, mapas, fotos e ícones)?
- O recurso apresenta combinação de cores adequadas?
- O recurso apresenta material audiovisual com boa qualidade de imagem e som?
- O recurso apresenta conteúdo legível?
-
Usabilidade
de interação
- O recurso permite ao aluno controlar a navegação?
- A navegação é padronizada, fácil e intuitiva?
- O recurso apresenta ajuda facilmente acessível?
- Consta menu ou links de acesso na estrutura de conteúdo do recurso?
- No caso de baixa de arquivos ou acesso externo, os links estão acompanhados de descrições claras e precisas sobre o seu conteúdo, tamanho e formato?
- Os links do recurso funcionam?
- O recurso possibilita ao aluno retornar ao conteúdo do ponto onde parou?
- O recurso informa ao aluno o estado atual de sua interação ou andamento da atividade?
- O recurso possibilita ao aluno retornar ao conteúdo do ponto onde parou?O recurso oferece instruções de uso ou ajuda facilmente acessíveis?
- O recurso oferece possibilidade de contato com a equipe técnica?
-
Acessibilidade
- O recurso disponibiliza atalhos de teclado?
- O recurso apresenta a barra de acessibilidade (aumentar/diminuir fonte e contraste)?
- São fornecidas descrições para as imagens da página, utilizando-se o atributo alt?
- O recurso apresenta descrição textual de imagens: imagens, gráficos, infográficos, desenhos, ilustrações, fotografias que tenham algum significado de forma a promover o completo entendimento da mensagem em seu contexto educacional?
- O conteúdo do recurso é leve e carrega rápido?
- O recurso pode ser acessado em mais de um Browser (navegador)?
- Os documentos externos são disponibilizados em formatos abertos?
- Os links de navegação estão organizados de forma clara e hierarquizadas em grau de importância?
- Os vídeos possuem audiodescrição e legenda?
-
Reusabilidade
- O recurso está registrado sob uma licença aberta?
- Os recursos complementares estão autocontidos, ou seja, não depende de outros objetos e/ou recursos externos para serem utilizados?
- A licença registrada permite restrição ao uso comercial?
- O recurso é interoperável, ou seja, posso utilizar em outros ambientes virtuais de aprendizagem?
- O recurso foi desenvolvido em formato aberto?
- Os textos, documentos, imagens e demais mídias estão em formato aberto?
-
Conformidade com padrões
- O recurso apresenta os metadados básicos (identificador, título, idioma, descrição, palavra-chave, cobertura, estrutura, nível de agregação, versão, status, contribuintes, instituição e data)?
- O recurso apresenta orientações sobre aspectos técnicos: formato, tamanho, localização, requisitos, comentários sobre instalação, requisitos para outras plataformas e duração?
- O recurso apresenta informações sobre aspectos educacionais e pedagógicos associados, tais como: objetivo de aprendizagem, tipo de interatividade, tipo de recurso de aprendizagem, público-alvo, contexto, faixa etária, dificuldade, tempo previsto para aprendizagem, descrição e linguagem?
- O recurso apresenta as condições de uso e licença?
- O recurso apresenta as informações de relacionamento com outros REA?
Como avaliar?
A seguir, apresentamos um formulário de avaliação do tipo checklist para apoiar a avaliação dos diversos tipos de REA. O avaliador deverá marcar na coluna SIM se o recurso apresenta ou cumpre o indicador correspondente. Caso contrário, deve marcar a coluna NÃO. Se algum indicador estiver relacionado a outro ausente ou não cumprido, marque a coluna NÃO AVALIADO. Se o indicador não se aplica ao recurso, marque a coluna NÃO SE APLICA.
Fonte: própria.
Conclusão
Chegamos ao final do curso!
Gostaríamos de registrar a nossa satisfação em poder compartilhar com vocês acerca do tema Educação Aberta. Em uma perspectiva mais abrangente, podemos considerar os REA como recursos valiosos de acesso à educação. Parabenizamos vocês, pois apesar das demandas do dia a dia, permaneceram até o final! Esse é o resultado mais valioso desta iniciativa!
O que vale na vida não é o ponto de partida e sim a caminhada. Caminhando e semeando, no fim terás o que colher
Cora Coralina
A caminhada ainda não acabou, ela está apenas começando...A semente da Educação Aberta foi lançada para que possamos fazer germinar e brotar grandes mudanças. Esperamos ter contribuído nesse processo e agradecemos sua preciosa participação!
Parceiros:
