Módulo 2 | Aula 5
Monitoramento e Avaliação de Intervenções em Saúde digital
Introdução
A Organização Mundial de Saúde define a saúde digital como um campo de conhecimento e prática associado com o desenvolvimento e uso de tecnologias digitais na saúde (OMS, 2021). E a reconhece como uma estratégia potente para acelerar o alcance da cobertura universal de saúde e os Objetivos de Desenvolvimento Sustentável relacionados à saúde até 2030.
Diversos estudos têm destacado o importante papel da saúde digital nas práticas, produtos, serviços e nos sistemas de saúde. A variedade de maneiras pelas quais as tecnologias digitais podem ser usadas para o apoio às necessidades dos sistemas de saúde é ampla, e essas tecnologias continuam a evoluir devido à dinâmica do mercado e a forma como as pessoas interagem com elas (OMS, 2016).
Diante da janela de oportunidade que se abre com a transformação digital da saúde, configurando uma estratégia para facilitar e melhorar o acesso e a qualidade dos sistemas de saúde, tão importante quanto a incorporação e sustentação das tecnologias digitais à saúde, é garantir que esforços sejam mobilizados para demonstrar a contribuição dessas intervenções ao longo do tempo. Segundo Celuppi (2021), é preciso ampliar os estudos sobre a implantação de tecnologias digitais e considerar as evidências sobre os impactos dessas intervenções.
Nesse contexto, a OMS (2018) reconhece ser fundamental fortalecer e apoiar o desenvolvimento de práticas de monitoramento e avaliação em saúde digital com o objetivo de identificar oportunidades de melhoria e priorizar o desenvolvimento, a avaliação, a implementação, a expansão e um maior nível de utilização de seus resultados, tendo como objetivo a promoção da equidade e o acesso universal, incluindo grupos de necessidades especiais que são vulneráveis no contexto da saúde digital.
Dentre os desafios da saúde digital, o monitoramento e a avaliação das intervenções destacam-se como áreas de contínuo aprendizado. A avaliação é uma atividade antiga e constitui um conceito polissêmico que agrupa realidades múltiplas e diferentes ênfases teórico-metodológicas, não cabendo uma definição universal e absoluta. Assim, é importante que os envolvidos no processo de avaliação explicitem o referencial adotado.
No campo da avaliação de intervenções em saúde, ainda que não haja um consenso sobre o termo, há uma convergência entre os autores em considerá-la um julgamento acerca de uma intervenção em saúde tendo em vista instrumentalizar o processo de tomada de decisões.
Nesse contexto, podemos entender que a avaliação de intervenções em saúde é a coleta sistemática de dados sobre atividades, características e efeitos de programas para uso de interessados, de forma a reduzir incertezas, melhorar a efetividade e tomar decisões com respeito ao que aquele programa está fazendo, quais são seus resultados e como pode ser ajustado (PATTON MQ, 1990).
Quando falamos de avaliação de intervenções em saúde digital, o conceito de avaliação também se apresenta como um campo polissêmico com diversos métodos de avaliação.
- Acesse o guia da OMS e saiba mais sobre o monitoramento e avaliação em tecnologias digitais em saúde. Clique aqui
Embora haja um consenso sobre a importância e necessidade de processos de monitoramento e avaliação aplicados às tecnologias digitais em saúde, bem como sobre um referencial comum para condução e fortalecimento desses processos para geração de evidências que subsidiem a tomada de decisão, observa-se que essas práticas ainda são poucos adotadas.
Outrossim, as intervenções de saúde digital, em geral, são dinâmicas, evoluindo através de vários estágios de maturidade durante os quais as necessidades de monitoramento e avaliação da intervenção mudam rapidamente.
De acordo com a OMS (2016), maturidade está atrelada à ideia de amadurecimento, transmitindo a noção de transição de um estágio inicial para outro avançado, podendo ser necessário passar por vários estágios intermediários até se atingir a maturidade efetiva.
Maturidade significa que o processo é bem compreendido, documentado, aplicado constantemente na organização, além de monitorado e melhorado com regularidade.
Assim, na medida em que as tecnologias digitais são concebidas, passam por um ciclo de vida de maturidade da intervenção, contemplando desde a fase de protótipo até o processo de implementação da intervenção em saúde digital em maior escala. Ao longo desse ciclo, é importante que sejam institucionalizados processos simultâneos e/ou concomitantes de monitoramento e avaliação (OMS, 2016).
Diante desse cenário, a OMS elaborou o guia de monitoramento e avaliação de tecnologias digitais em saúde, sistematizando métodos e técnicas de variadas origens acadêmicas e produção interdisciplinar.
À medida que a intervenção amadurece, o foco dos processos de monitoramento e avaliação podem mudar. A figura a seguir demostra o ciclo de vida de maturidade que, segundo a OMS (2016), orienta que as intervenções digitais sejam monitoradas quanto aos atributos de funcionalidade, estabilidade, fidelidade e qualidade. E avaliadas quanto aos atributos de usabilidade, viabilidade, eficácia, efetividade, evolução financeira e econômica e à pesquisa de implementação.
Veja que no Ciclo de vida de maturidade da intervenção exemplificado, o monitoramento simultâneo (azul/superior) e atividades de avaliação (vermelho/inferior) e seus respectivos atributos, ocorrem à medida que uma intervenção amadurece ao longo do tempo (da esquerda para a direita).
A seguir, você verá uma visão geral sobre os principais fundamentos no campo do monitoramento e avaliação para intervenções em saúde digital e a proposta da OMS para estruturar um plano de monitoramento e avaliação, considerando as diretrizes do guia para Monitoramento e Avaliação de Intervenções em Saúde Digital. Mas, antes de avançar é importante alinhar a compreensão sobre intervenção, conjunto de meios (físicos, humanos, financeiros, simbólicos) organizados em um contexto específico, em um dado momento, para produzir bens ou serviços com o objetivo de modificar uma situação problemática (Contandriopoulos et al., 2000). Uma intervenção parte de uma situação problema e é descrita por cinco componentes: objetivos, recursos, serviços, bens ou atividades, efeitos e contexto, podendo constituir desde uma técnica até uma política.
As intervenções em saúde digital abrangem o uso da tecnologia de informação e comunicação (TIC) no apoio à Saúde e às áreas relacionadas à Saúde, incluindo as tecnologias móveis e e-Saúde.
Outra distinção necessária de se fazer é relativa aos conceitos de monitoramento e avaliação, embora na prática, ambos podem ocorrer de forma complementar.
O que é monitoramento?
O monitoramento é definido como o processo contínuo de coleta e análise de dados para comparar o quão bem uma intervenção está sendo implementada em relação aos resultados esperados (OMS, 2013).
No contexto de intervenções digitais, “monitoramento” e “monitoramento de processos” são usados indistintamente para se referir à coleta, revisão e análise rotineira de dados, gerados por sistemas digitais ou coletados propositalmente, que medem a implementação, fidelidade e progresso no sentido de alcançar os objetivos da intervenção. Em geral, as atividades de monitoramento buscam verificar se a intervenção está funcionando como planejado. As atividades de monitoramento podem medir mudanças no desempenho ao longo do tempo, cada vez mais em tempo real, permitindo que sejam feitas correções de rumo para melhorar a fidelidade da implementação.
Os planos de monitoramento de intervenções de saúde digital devem centrar-se na geração de dados para responder às questões abaixo, onde “sistema” é definido de forma ampla como a intervenção que combina o software tecnológico, hardware e fluxos de trabalho de utilizadores. No quadro abaixo, você pode verificar os atributos adotados pelo guia da OMS para monitoramento de intervenções em saúde digital, com as respectivas definições, perguntas guias e observações relativas ao processo de monitoramento.
Atributos de monitoramento de uma intervenção digital, segundo a OMS (2016)
É importante identificar e distinguir quais as interações-chave do sistema que devem ser classificadas como entradas, saídas ou resultados, de forma a orientar a equipe de gestão na seleção e acompanhamento dos indicadores a serem incluídos nas atividades de monitoramento. Além disso, deve ser realizado monitoramento adicional para garantir que a própria aplicação de saúde digital, os sistemas de apoio e os utilizadores cumpram os padrões especificados e estejam verdadeiramente prontos para implantação e utilização sustentada.
O monitoramento eficaz implica a recolha de dados em vários momentos ao longo do ciclo de vida de uma intervenção e, idealmente, é utilizado para informar decisões sobre como otimizar o conteúdo e a implementação do sistema. Sendo um processo interativo, o monitoramento visa levar a ajustes nas atividades de intervenção, a fim de manter ou melhorar a qualidade e a consistência da implantação (OMS, 2016).
A falha no monitoramento da intervenção em saúde digital pode levar ao seu fracasso. Por exemplo, se a intervenção depende do envio e recebimento bem-sucedido de mensagens SMS, mas as equipes de implementação não monitoram regularmente as taxas de falha de SMS no servidor, elas não descobririam que os usuários não receberam mensagens até as pesquisas finais. Isto resultaria em oportunidades perdidas para fazer correções imediatas no sistema e evitar o fracasso da intervenção.
Para a estruturação de um plano de monitoramento é importante considerar quem é o principal utilizador da intervenção e o tipo de interação. Os utilizadores com interações primárias utilizam diretamente a tecnologia para prestar o serviço, já os secundários se beneficiam da tecnologia. Em geral, os planos de monitoramento abordam os utilizadores com interações primárias.
Outro aspecto importante a considerar na estruturação do plano de monitoramento é o estágio de maturidade em que a intervenção se encontra.
Em geral, as intervenções em estágios iniciais de maturidade direcionam os esforços de monitoramento para garantir os atributos de estabilidade e funcionalidade. Já os projetos em fases mais avançadas focam nos atributos de fidelidade e qualidade. Contudo, deve-se considerar também um estágio de maturidade intermediário, onde será necessário ampliar os atributos a serem monitorados. Para cada atributo faz-se importante estabelecer o que monitorar, como monitorar, quem irá monitorar, quando monitorar, como usar os resultados do monitoramento e como monitorar de forma diferente por estágio de maturidade.