Módulo 2 | Aula 5
Monitoramento e Avaliação de Intervenções em Saúde digital
Avaliação das fontes e qualidade dos dados
Além de articular os objetivos de monitorização e avaliação (M&A) e de conceber os planos para a realização das atividades de M&A, outro componente-chave é determinar os requisitos de dados. Os implementadores precisam determinar se o seu projeto produzirá o tipo certo de dados em quantidade e qualidade suficientes para apoiar as alegações articuladas pelo projeto.
A avaliação de dados digitais ajuda a identificar e mapear lacunas entre o que se pretende medir e a capacidade prática de medir as variáveis que mostrarão se o impacto pretendido está ou não a ocorrer. Assim, ela é importante para sabermos se: Seremos capazes de provar que a nossa intervenção funciona da forma que pensamos que funciona com base nos dados? Estamos coletando os dados corretos para a nossa intervenção? Que medidas podemos tomar para melhorar a qualidade dos nossos dados? Existem oportunidades adicionais para coleta e uso de dados?
Segundo a OMS (2016), a abordagem de avaliação dos dados digitais pode ser realizada em três etapas:
Avaliação do alinhamento dos dados disponíveis com as alegações do programa:
orienta a equipe na identificação de suas principais alegações sobre a intervenção, listando indicadores e fontes de dados associados e avaliando se as alegações propostas podem ser apoiadas de forma viável pelos dados disponíveis.
Mapeamento dos dados:
ajuda a equipe de implementação a desenvolver uma representação visual de como os dados fluem pela organização. Esta ilustração pode ajudar a identificar lacunas e oportunidades na recolha, análise e utilização de dados.
Avaliação dos protocolos de gerenciamento de dados e da qualidade dos dados:
investiga os detalhes básicos dos processos que podem resultar em boa ou má qualidade dos dados, destacando as melhores práticas em cada um dos cinco estágios dos dados (ou seja, coleta, armazenamento, análise, gerenciamento e uso). A abordagem para avaliar a qualidade e a utilização dos dados foi adaptada do quadro PRISM, que é amplamente aceito e utilizado para avaliar o desempenho do sistema de informação de saúde de rotina.
Principais componentes da abordagem de avaliação da qualidade dos dados
Alinhamento de dados disponíveis com as alegações da intervenção
- Identificação das alegações da intervenção
- Indicadores
- Fonte de dados
- Alinhar os indicadores com as fontes de dados
- Resumo das recomendações 1.
Mapeamento de fonte de dados
- Compreender como os dados são coletados, compilados, analisados e usados para tomada de decisões
- Ilustração visual do fluxo de dados em cada nível do sistema de saúde
- Resumo das recomendações 2
Protocolo de gerenciamento e qualidade de dados
- Coleção de dados
- Armazenamento de dados
- Análise/painel de dados
Resumo das recomendações 1:
a) Se estiverem disponíveis dados suficientes para apoiar uma ou mais alegações: i) Resuma as afirmações que podem ser feitas, considerando os dados disponíveis; ii) Gere recomendações para coleta de dados para qualquer alegação que não tenha dados para apoiá-la; iii) Identifique quaisquer alegações adicionais que possam ser possíveis, considerando os dados. b) Se não estiverem disponíveis dados suficientes para apoiar pelo menos uma alegação: i) Gere recomendações de dados que devem ser coletados para apoiar as alegações. Recomendar potencial métodos/fontes de coleta de dados que possam facilitar essa coleta de dados; ii) Identifique reivindicações adicionais que possam ser possíveis, considerando os dados. Independentemente dos resultados da Etapa 1, prossiga para a Etapa 2.
Resumo das recomendações 2:
O Mapa de Dados permite à equipe de M&A delinear uma sequência lógica de passos necessários para melhorar o fluxo de dados em cada nível do sistema de saúde. Contudo, os passos da etapa 2 descrita e representada acima não são absolutos. A geração de recomendações deve ser orientada pelo que é razoável para cada projeto. Algumas perguntas que podem ajudar a orientar esse processo incluem:
- Existem partes interessadas que atualmente não fazem parte do sistema e que deveriam fazer parte do sistema?
- Existem oportunidades no sistema para instalações/organizações/outras partes interessadas analisarem seus próprios dados?
- Existem lacunas/oportunidades adicionais para a utilização de dados em qualquer nível do sistema de saúde?
- Alguma mudança na frequência de coleta/análise/relatório/uso de dados é recomendada em qualquer nível do sistema de saúde?
- Seriam apropriadas quaisquer alterações no nível de desagregação dos dados para melhorar a utilização dos dados?
- Existem outros desafios pertinentes que ameaçam a qualidade dos dados?
- Com base nas lacunas e oportunidades identificadas, deverá ser desenvolvido um mapa com oportunidades adicionais para análise, comunicação e utilização de dados, e incluindo alterações recomendadas na frequência de recolha e/ou no nível de desagregação dos dados.
Resumo das recomendações 3:
Esta secção fornece uma lista de verificação de itens para a equipe de M&A avaliar no âmbito do sistema existente de garantia e gestão da qualidade dos dados, bem como questões relevantes para cada item. Embora as respostas às perguntas ajudem a identificar áreas de melhoria, as recomendações específicas dependerão da garantia da avaliação dos itens mais pertinentes ao projeto e serão moldadas pela experiência da equipe de M&A no assunto.
- Confira a LISTA DE VERIFICAÇÃO DE ITENS sugerida no RESUMO DAS RECOMENDAÇÕES 3 (ETAPA 3).
Uma avaliação da qualidade dos dados só pode ajudar a melhorar os processos de dados de intervenção se for acompanhada de ações e avaliações repetidas. Pode ser utilizado em diferentes fases do ciclo de implementação da intervenção para ajudar a planear, melhorar e avaliar os processos de dados. Cada etapa da avaliação produz um “resumo de recomendações”. Depois de concluído, a equipe do projeto deverá discutir esses resumos e definir pontos de ação e responsabilidades específicas. Dependendo da amplitude das lacunas identificadas, os processos de dados do projeto podem ser reavaliados anualmente através da avaliação da qualidade dos dados (OMS, 2016).
Desafios para Monitoramento e Avaliação da Saúde Digital
Diante do exposto, podemos a partir do conteúdo acima destacar alguns dos desafios relacionados ao monitoramento e avaliação de tecnologias em saúde digital. Iniciamos ressaltando o caráter dinâmico e rápido inerente ao universo das intervenções em saúde digital, onde frequentemente, o estágio de maturidade pode avançar ou sobrepor, exigindo que os processos de monitoramento e avaliação sejam mais complexos, ágeis e flexíveis, adaptando-se as necessidades das partes interessadas.
Ainda na perspectiva das intervenções em saúde digital, deve-se considerar como desafio a institucionalização de processos fortes de monitoramento, desde o início do desenvolvimento da intervenção em saúde digital, de forma a fornecer informações estratégicas e confiáveis para subsidiar os processos avaliativos, reduzindo a tendência de considerar uma intervenção como não eficaz, quando na verdade os achados foram resultantes de processos de monitoramento fracos (OMS, 2016).
Já na perspectiva do campo da avaliação, a diversidade terminológica, somada à multiplicidade de propostas metodológicas, teóricas e práticas, bem como a baixa institucionalização de processos de monitoramento e avaliação no âmbito das políticas públicas constituem um desafio contínuo também para as intervenções em saúde digital. Segundo Blondiau, Mettlere Winter (2016) e Costa e Marin (2020) há muitos modelos avaliativos para a saúde digital, no entanto muitas iniciativas limitam-se a desenvolver a proposta metodológica, mas não há evidências de seus usos. Ambos os estudos reiteram a importância da diversidade metodológica, contudo ressaltam também ser importante o uso de tais modelos com vista ao seu amadurecimento.
Esses autores destacam também o predomínio de modelos avaliativos complexos, específicos, pouco práticos e não gratuitos. Essa realidade requer esforço para que os modelos ganhem maior praticidade, sem perder a necessária abordagem complexa requerida pela intervenção. Destacam também a necessidade de avançar nos desenhos que realmente possibilitem medir o quanto a intervenção em saúde digital contribui para resolução do problema para o qual foi desenvolvida.
Por fim, um desafio tão importante quanto os anteriores é sensibilizar e capacitar gestores e pesquisadores para que possam desenvolver e colocar em uso modelos avaliativos para as intervenções em saúde digital de forma a ampliar a comunidade atuante nesses campos de conhecimento, saúde digital e avaliação. Além disso, um grande desafio é a decisão política de aceitar e incorporar, como problema a ser solucionado, os possíveis resultados negativos de um processo avaliativo.