Módulo 2 | Aula 5
Monitoramento e Avaliação de Intervenções em Saúde digital
O que é Avaliação
Segundo a OMS (2013) a avaliação é definida como um processo sistemático e objetivo de uma intervenção em curso ou concluída com o objetivo de determinar o cumprimento dos objetivos, a eficiência, a eficácia, o impacto e a sustentabilidade. Avaliação, no contexto das tecnologias digitais, refere-se às medidas tomadas e análises realizadas para:
- avaliar a interação dos usuários ou de um sistema de saúde com a estratégia de intervenção digital em saúde.
- avaliar mudanças atribuíveis à intervenção digital em saúde.
O monitoramento se concentra no acompanhamento sistemático de propriedades que são intrínsecas (internas) à intervenção de saúde digital.
A avaliação concentra-se em propriedades que são extrínsecas (externas).
Idealmente, a intenção é demonstrar atribuição – isto é, mostrar que as mudanças nestas propriedades extrínsecas ocorreram como resultado da intervenção digital.
Atribuir mudança à intervenção é um dos desafios mais difíceis e é abordado por uma combinação do método de investigação, da qualidade dos dados utilizados e da adequação da comparação, ou contrafactual. Os planos de avaliação para intervenções de saúde digital devem centrar-se na geração de dados que possam ser utilizados como base para avaliar se as mudanças observadas no comportamento, nos processos ou nos resultados de saúde podem ser atribuídas à intervenção.
O quadro a seguir sistematiza os atributos da avaliação para intervenções em saúde digital, com as respectivas definições e perguntas guias.
É importante destacar que os processos de monitoramento e avaliação, ainda que possuam definições próprias, na prática ocorrem de forma complementar. As estratégias de avaliação baseiam-se no monitoramento dos dados e em atividades de implementação para medir e atribuir mudanças no sistema de saúde ou na população que ocorrem como resultado da intervenção. Em geral, espera-se que intervenções adequadamente implantadas e com atividades de monitoramento institucionalizadas possam alcançar os resultados almejados (OMS, 2016).
De certo, o contrário também deve ser considerado frente a tendência de avaliar uma intervenção em saúde digital como não eficaz, ou seja, resultados baseados em contextos com monitoramentos fracos ou ainda inexistentes. Por exemplo, os processos bem instituídos de monitoramento devem assegurar diante de desfechos se a ineficácia de uma intervenção se deve diretamente à intervenção (por exemplo, se não funciona) ou ao resultado da implementação (OMS, 2016).
Como estruturar um processo de monitoramento e avaliação?
O guia da OMS propõe uma abordagem em sete etapas para monitorar e avaliar intervenções em saúde digital.
- Passo 1: Definir o estágio de maturidade, estágio de avaliação e alegações apropriadas
- Passo 2: Desenvolver uma estrutura subjacente ou quadro conceitual
- Passo 3: Identificar necessidades de evidências e objetivos de avaliação
- Passo 4: Definir o desenho de estudo mais adequado
- Passo 5: Determinar quem realizará atividades de monitoramento e avaliação
- Passo 6: Tempo e recursos
- Passo 7: Definir um plano de implementação de M&A
A seguir você verá uma breve explanação sobre cada etapa.
Passo 1: Definir o estágio de maturidade, estágio de avaliação e as alegações apropriadas
O primeiro passo para orientar a abordagem apropriada de monitoramento e avaliação para uma intervenção em saúde digital consiste em classificar adequadamente (a) onde a tecnologia se encontra em termos de estágio de maturidade, (b) qual estágio de avaliação corresponde à intervenção e (c) quais as alegações são necessárias ou possíveis.
Os estágios de maturidade contemplam desde o pré-protótipo, passando pelo protótipo, piloto, demonstração, expansão e implementações integradas e sustentadas. A intervenção está sendo desenvolvida e avaliada pela primeira vez ou está madura e em fase de expansão?
A fase de avaliação está diretamente relacionada ao estágio de maturidade e abrange os atributos de viabilidade, usabilidade, eficácia, efetividade ou avaliação de implementação. A intervenção será avaliada para determinar se o sistema funciona, é eficaz ou pode ser ampliado?
As alegações são definidas como uma declaração de benefícios previstos da intervenção em saúde digital. Esse aspecto orienta a necessidade de identificar se a intervenção será avaliada com a intenção de melhorar a prestação de uma intervenção com eficácia conhecida, (como uma vacina ou medicamento)? Ou a própria intervenção em saúde digital é nova e a sua capacidade de melhorar os resultados de saúde ainda é desconhecida?
Podem existir cenários em que o objetivo da avaliação seja responder a ambas as questões. Nesse caso, a equipe deverá decidir que questão é prioritária. O esquema abaixo relaciona os estágios de maturidade (a) com os estágios de avaliação (b), bem como as alegações correspondentes ou os objetivos mais amplos para cada estágio (c).
Sistematização dos estágios de maturidade com métodos de avaliação e alegação
A abordagem das alegações também pode ser usada para aprofundar os objetivos do processo de monitoramento e avaliação. Dentre as vantagens do uso dessa abordagem tem-se a otimização dos esforços de monitoramento e avaliação em relação às expectativas das partes interessadas, resultando em achados com maior valor agregado e possibilidade de uso; auxiliar os gestores de projetos na identificação dos principais processos e resultados que precisam de ser monitorados ou avaliados, concentrando custos e esforços nas evidências mais críticas; e orientar a escolha dos indicadores para medir os principais processos e resultados.
A abordagem das alegações pode ser sistematizada em cinco etapas principais: mapear as partes interessadas; esclarecer as expectativas; articular as afirmações; medir as afirmações e revisar as afirmações considerando as evidências disponíveis.
As partes interessadas são definidas como entidades (indivíduos ou organizações) que têm interesses no sistema ou na intervenção em saúde digital como gestores, financiadores, desenvolvedores, implementadores da intervenção, técnicos, utilizadores, sociedade civil, entre outros, a exemplo de membros das comunidades científicas ou de saúde digital. Considerando que cada parte pode contribuir com recursos ou usos diferentes em um dado contexto, o mesmo pode acontecer com as expectativas quanto à intervenção e sua avaliação. Diante disso, é fundamental no processo avaliativo formalizar o mapeamento das partes interessadas para identificar e priorizar as mais relevantes.
Consiste em mapear e alinhar antecipadamente as expectativas das partes interessadas, destacando as alegações relevantes e que possibilitam o foco dos processos e a otimização dos recursos. Para tanto, pode-se fazer uso de técnicas como revisão de documentos estratégicos para conhecer os interesses e prioridades das partes envolvidas, discussões em grupos focais ou entrevistas aprofundadas com informantes-chave. As perguntas a seguir podem auxiliar no processo de esclarecimento das expectativas das partes interessadas:
- Quais são as três principais prioridades da sua organização?
- Quais são as suas principais expectativas em relação a este projeto?
- De que forma este projeto pode agregar valor à missão da sua organização?
- Qual é o principal resultado que você espera que esta intervenção digital em saúde alcance?
As expectativas delineadas pelas partes interessadas podem então ser articuladas na forma de alegações. Esse processo pode ser trabalhado classificando as três expectativas mais importantes para cada parte interessada. As mesmas devem ser trabalhadas como alegações, redigidas de forma objetiva, podem especificar processos, resultados ou impacto na saúde e ser mensuráveis, ou seja, podem ser elaboradas na forma de objetivos ou indicadores.
As alegações podem ser medidas ou fundamentadas durante as atividades de monitoramento e avaliação e também por meio da documentação de processos, treinamento, desenvolvimento de conteúdo, captação de recursos ou criação de tecnologias/ produtos.
Uma vez medidas as alegações, é importante revisá-las para que correspondam às evidências.
Passo 2: Desenvolva uma “estrutura conceitual”
O segundo passo para estruturação do processo de monitoramento e avaliação recomenda que seja elaborada uma “estrutura conceitual” sobre a intervenção em saúde digital com o objetivo de:
- definir e compreender os objetivos da intervenção;
- conceituar a relação entre esses diferentes objetivos;
- definir as atividades de apoio do projeto necessárias para atingir suas metas e objetivos; e
- descrever os resultados esperados.
Para além dos aspectos estruturais e operacionais, toda intervenção possui uma teoria subjacente, que orienta como a mesma deve operar, elaborada a partir de saberes científicos e práticos dos grupos implicados. Essa estratégia tem sido utilizada amplamente com o propósito de identificar e compreender fatores que podem interferir nos efeitos esperados das intervenções. As estruturas mais utilizadas são: quadro conceitual; quadros de resultados; teoria da mudança; e quadros lógicos.
(também conhecido como quadro teórico ou causal): consiste em um diagrama que identifica e ilustra as relações entre os fatores (sistêmicos, organizacionais, individuais ou outros) que podem influenciar a operação de uma intervenção e o alcance bem-sucedido dos objetivos da intervenção. Essa estrutura destaca as ligações causais entre um conjunto de conceitos relacionados a um determinado problema de saúde pública, sendo os “conceitos” representados por caixas e incluem todos os fatores relevantes que podem influenciar o funcionamento da intervenção e o alcance dos objetivos. Os processos são delineados por setas, que pretendem implicar causalidade.
consiste em uma “representação gráfica de uma estratégia para atingir um objetivo específico que se baseia na lógica de causa e efeito” (24). O principal objetivo deste tipo de quadro é clarificar as relações causais que ligam a obtenção incremental de resultados ao impacto da intervenção.
é um modelo causal que liga resultados e atividades para explicar como e por que se prevê que a mudança desejada ocorra. Os quadros conceptuais baseados na teoria da mudança são semelhantes aos modelos lógicos, mas visam proporcionar uma maior compreensão da complexa relação entre as atividades do programa e os resultados esperados.
é uma ferramenta de gestão e medição que resume o que um projeto pretende fazer e como, quais são os principais pressupostos e como os produtos e resultados serão monitorizados e avaliados. O objetivo de um modelo lógico é esclarecer os objetivos do programa e ajudar na identificação das ligações causais esperadas entre insumos, processos, produtos, resultados e impactos.
É criada uma estrutura lógica para fornecer uma representação gráfica que pode servir como catalisador para o envolvimento e a comunicação com as principais partes interessadas, incluindo os implementadores, num processo iterativo, muitas vezes na sequência de mudanças na concepção ou implementação do programa. Cabe lembrar que o Modelo lógico pode ser desenhado para toda a intervenção ou um de seus componentes.
Os quadros lógicos ligam os insumos (recursos do programa) aos processos (atividades realizadas), aos produtos (resultados diretos dos processos), aos resultados (mudanças intermédias) e aos impactos.
A decisão sobre qual tipo de estrutura é mais relevante ou adequada dependerá das necessidades das principais partes interessadas e do contexto e complexidade do projeto. Ademais, é importante compreender que a adoção de um quadro não é apenas uma técnica para representar uma intervenção, mas sim uma estratégia que encoraja a interação de representações teóricas, de valores e percepções sobre o contexto e promove debates e acordos decisórios importantes sobre a intervenção.
Diante disso, o uso de uma estrutura conceitual fortalecerá a concepção, a implementação e o monitoramento e avaliação da intervenção em saúde digital, devendo ser desenvolvida através de um processo consultivo e revisto ao longo da vida de sua implementação.
Passo 3: Identificar necessidades de evidências e objetivos de avaliação
Os objetivos são uma declaração de resultados específicos, mensuráveis, atingíveis, relevantes e com prazo determinado (SMART). E devem ser definidos através de um processo colaborativo com as principais partes interessadas, analisando primeiro os objetivos mais amplos do projeto e os resultados previstos. Os resultados devem ser mensuráveis através de indicadores e devem ser definidos para facilitar a geração de evidências necessárias como base para a tomada de decisões importantes. Finalmente, os objetivos devem estar ligados ao calendário e à fase da avaliação.
A OMS define um indicador como “um fator ou variável quantitativa ou qualitativa que proporciona um meio simples e viável para medir os resultados, para refletir as mudanças relacionadas com uma intervenção ou para ajudar a avaliar o desempenho de um fator de desenvolvimento” (OMS, 2013).
Os indicadores podem ser qualitativos (por exemplo, disponibilidade de uma declaração de missão organizacional clara) ou quantitativos (ou seja, expressos em números ou percentagens). Os critérios SMART abaixo fornecem algumas orientações para a construção de indicadores.
pan_tool_alt Clique nos botões para visualizar as informações.
O indicador deve ser específico sobre o que está sendo medido, de quem os dados serão coletados e quando.
O indicador deve ser quantificável. Evite a utilização de termos subjetivos como “boa qualidade” ou “acessível” na definição do indicador, uma vez que estes podem ser interpretados de forma diferente entre regiões, profissões e indivíduos.
O indicador deve ser atingível com o orçamento, tempo e recursos humanos disponíveis.
O indicador deve ser relevante para o contexto e específico para as necessidades do programa ou intervenção que está sendo avaliada.
O indicador deve ser específico no tempo, com base no calendário do programa de saúde.
A abordagem para seleção dos indicadores para estruturação do processo de monitoramento e avaliação em saúde digital deve considerar:
- os objetivos e prioridades da intervenção em saúde digital
- as considerações práticas em termos de contexto e disponibilidade de recursos
- as alegações mapeadas/elaboradas.
Ao contrário da maioria das intervenções em saúde que focam nos resultados, na maioria das vezes, uma intervenção digital de saúde serve como complemento ou catalisador de uma intervenção existente que é conhecida por ser eficaz. Nesses casos, onde não é viável medir o impacto, podem ser utilizados indicadores substitutos e indicadores de processo para avaliar a efetividade dessas intervenções. A figura a seguir apresenta uma visão geral sobre a classificação dos indicadores em saúde digital
Classificação dos indicadores de intervenções em saúde digital
- Funcionalidade – "A tecnologia funciona?" : fatores técnicos (conectividade, poder, pessoal local qualificado, manutenção e funcionalidade) e fatores organizacionais (treinamento).
- Usabilidade – "Como as pessoas interagem com a tecnologia?": Cobertura do usuário (o sistema foi adotado?), resposta do usuário (a tecnologia é fácil de usar?), adoção do usuário (o usuários respondem ao sistema?).
- Melhoria de Processos – "Como a tecnologia melhora a prestação dos serviços?": usuários, prestadores de serviços e o sistema de saúde como um todo, medem os impactos na eficiência, qualidade, utilização e custos.
- Melhoria nos Resultados – "Como melhorias na prestação dos serviços afetam os resultados na saúde?": melhores resultados de saúde.
Os processos de análise e medição das intervenções, seja no âmbito do monitoramento ou da avaliação, se utilizam de critérios e indicadores em comparação com parâmetros ou padrões. Esses quesitos são fundamentais e devem ser definidos com a participação das partes interessadas e/ou elaborados a partir do conhecimento técnico/científico ou ainda por consenso entre especialistas.
A matriz de monitoramento inclui critérios e indicadores essenciais relacionados à intervenção, sendo utilizada para o seu acompanhamento sistemático, considerando o planejamento bem como a estrutura conceitual, mas diferenciando-se dessa última, por contemplar apenas os quesitos relevantes para a tomada de decisão. Abrange as dimensões de estrutura, processo e resultado, podendo ou não incluir uma dimensão de custos. As fontes de dados são os registros sistemáticos sobre a intervenção e as informações coletadas são comparadas com o desempenho anterior ou as metas planejadas.
Já a matriz de julgamento, similar à de monitoramento por incluir critérios, indicadores e padrões, diferencia-se por incluir o mérito. Assim, para cada critério/indicador e padrão, a matriz de julgamento apresenta: pontuação máxima esperada atribuída ao critério/indicador; descrição do valor ou ponto de corte (intervalo aceitável para cada variável estudada; valor observado; valor atribuído e julgamento segundo o valor atribuído).
Passo 4: Definir o desenho de estudo mais adequado
O quarto passo consiste em definir o desenho de estudo mais apropriado para avaliação da intervenção. Como toda avaliação implica um julgamento, cujo desfecho baseia-se numa comparação entre aquilo que se deseja avaliar e uma situação ideal ou equivalente, o desenho da avaliação refere-se à forma através da qual essa comparação será feita. As considerações sobre o desenho do estudo devem ser determinadas pela fase de avaliação em que se enquadra uma determinada intervenção de saúde digital e devem ter em conta as hierarquias de evidências.
Embora existam diferentes tipos de avaliações, elas podem ser amplamente classificadas em duas categorias:
As avaliações formativas têm por finalidade produzir informações que podem ser utilizadas rapidamente pelos envolvidos na intervenção ainda durante a sua execução e permitem identificar precocemente possíveis problemas e assegurar-se do seu desenvolvimento conforme o planejado.
O tipo mais comum de avaliação formativa é a de processo, sendo realizada num momento específico ou em intervalos regulares durante a implementação para medir os resultados atribuídos à conjugação dos insumos e atividades da intervenção. E a avaliação de implementação, ao avaliar a fidelidade da intervenção.
As avaliações somativas são realizadas ao fim de uma intervenção ou de uma de suas fases para determinar até que ponto os resultados previstos foram produzidos, a exemplo das avaliações de resultado e impacto, entre outras.
Os estudos adotados pelas pesquisas avaliativas no campo da avaliação em saúde são em sua maioria oriundos de estudos epidemiológicos e têm em comum, a incorporação da estatística e do método experimental das ciências sociais. Considerando os desenhos de estudos sistematizados pela OMS (2016), essa realidade não é muito diferente no âmbito da saúde digital.
Os estudos descritivos “preocupam-se e são concebidos apenas para descrever a distribuição existente de variáveis, sem levar em conta hipóteses causais ou outras”. Os estudos descritivos visam definir “quem, o quê, quando e onde” os fenômenos são observados. Existem dois tipos principais de estudos descritivos: aqueles que envolvem indivíduos (relatos de séries de casos, estudos transversais e vigilância); e os relativos às populações (estudos ecológicos correlacionais) (Grimes; Schulz, 2002). Ambos os tipos de estudos descritivos podem incluir pesquisas qualitativas (OMS,2016).
Os estudos analíticos visam quantificar a relação entre a intervenção e o(s) resultado(s) de interesse, geralmente com o objetivo específico de demonstrar uma ligação causal entre os dois. Esses estudos são elaborados para testar hipóteses que geralmente foram geradas a partir de estudos descritivos. Existem duas categorias principais de estudos analíticos: (a) experimentais e (b) observacionais (consultar quadro Tipos de desenhos de estudo ).
Os estudos experimentais visam avaliar os efeitos de um tratamento ou intervenção que foi introduzido intencionalmente sobre um resultado ou resultados de interesse. Exemplos de estudos experimentais incluem ensaios clínicos randomizados (ECR) e estudos quase experimentais.
Os estudos observacionais são estudos não experimentais nos quais “o investigador não intervém, mas simplesmente 'observa' e avalia a força da relação entre uma exposição e uma variável da doença” (SONG; CHUNG, 2010). Os estudos observacionais incluem estudos de coorte, caso-controle e transversais.
Considerando o potencial dos desenhos de estudo para eliminar vieses, ou seja, erros que podem levar a resultados ou conclusões equivocadas, podemos classificá-los como: i) excelente: ECRs multicêntricos, ii) bom: ECRs, iii) razoável: ensaios não randomizados, estudos de coorte, estudos de caso-controle e transversais, e iv) fraco: estudos de caso e relatos de caso.
Um foco principal nos estudos de avaliação é a determinação de associações válidas entre uma exposição (ou seja, uma intervenção ou tratamento) e um resultado de saúde. Embora não exista um modelo único e melhor para avaliar uma intervenção de saúde digital, a abordagem dos requisitos relativos às necessidades de provas envolverá a consideração do grau de certeza necessário. Para intervenções de saúde digital que tenham uma forte base de evidências subjacentes que tenha estabelecido a eficácia da intervenção em termos de resultados positivos para a saúde (por exemplo, imunização contra o sarampo), pode não ser necessário um ECR para determinar a eficácia da imunização.
No contexto de muitos programas, a intervenção de interesse pode ser responsável por apenas uma parte da variabilidade observada nos resultados, enquanto os fatores socioeconômicos, a escolha da estratégia de execução, os fatores geográficos e outros fatores contextuais podem ter uma influência substancial. A escolha do desenho do estudo e dos métodos de investigação que o acompanham deve ser definida com base nos objetivos globais da investigação e deve considerar até que ponto os decisores devem estar confiantes de que os efeitos observados podem ser atribuídos à intervenção.
Estudos descritivos:
podem ser desenvolvidos como estudos exploratórios, que se baseiam em metodologias de recolha de dados semelhantes, mas que visam gerar hipóteses (36).
Estudos analíticos:
visam quantificar a relação entre a intervenção e o resultado de interesse e incluem estudos experimentais e observacionais. Exploram inferências sobre a intervenção:
- adequação (as atividades de intervenção atingiram os objetivos esperados?)
- plausibilidade (a intervenção teve um efeito acima e além de outras influências externas?)
- probabilidade (A intervenção teve efeito (P < x%)?)
Métodos de avaliação
Considerando a diversidade metodológica, bem como a necessidade de combinação de métodos e abordagens nos estudos avaliativos, Hartz (1999) destaca o risco da mera justaposição de métodos, abordagens e instrumentos, ressaltando que a escolha dos mesmos deve ser orientada pela integração coerente com as alegações e objetivos dos estudos avaliativos. Nessa parte serão apresentadas:
As abordagens qualitativas produzem dados em formatos de texto, imagem ou áudio/vídeo a partir dos quais padrões ou temas relacionados com os atributos dos participantes (por exemplo, opiniões, comportamentos) podem ser detectados e analisados utilizando métodos e ferramentas específicos para dados qualitativos.
As abordagens quantitativas (por exemplo, recolha de dados de inquéritos) produzem dados numéricos que podem ser analisados utilizando métodos estatísticos.
As abordagens de métodos mistos são uma combinação de ambos, envolvendo a recolha de dados qualitativos e quantitativos, quer sequencialmente quer simultaneamente, com a intenção de informar a questão da investigação.
O quadro a seguir sistematiza as características das abordagens quantitativas e qualitativas. As abordagens de métodos mistos são uma combinação de ambos, envolvendo a recolha de dados qualitativos e quantitativos, quer sequencialmente quer simultaneamente, com a intenção de informar a questão da investigação.
Características das abordagens qualitativas e quantitativas
Passo 5: Determinar quem realizará atividades de monitoramento e avaliação
Para muitas intervenções de saúde digital, o monitoramento será realizado internamente pela equipe de execução e centrar-se-á nas ligações entre insumos, processos e resultados. Em contraste, os esforços de avaliação para determinar o efeito de uma intervenção nos resultados e impacto na saúde podem ser conduzidos por uma organização de investigação externa ao projeto e pelos seus clientes ou beneficiários pretendidos (OMS, 2016).
Passo 6: Tempo e recursos
O passo 6 consiste em definir e projetar em quanto tempo será necessário para realizar atividades de avaliação e que recursos (humanos, financeiros, físicos) estão disponíveis para apoiar atividades de avaliação. O momento da avaliação pode acontecer:
- no início do projeto (prospectivo)
- após o início/introdução do projeto
- na conclusão do projeto (retrospectivo)
Em geral as avaliações prospectivas são preferidas (OMS, 2016).
Passo 7: Definir um plano de implementação de M&A
Uma vez estabelecidos os objetivos do estudo, o quadro conceitual e o desenho do estudo, é necessário desenvolver um plano de implementação para fornecer um roteiro realista do calendário, dos recursos e das atividades necessárias para conceber e implementar atividades de monitoramento e avaliação. Uma característica comum é um quadro que resume as atividades básicas, os recursos, o cronograma do projeto planejado e como ele será monitorado. No mínimo, o plano de implementação de M&A deve incluir o seguinte:
- uma lista estruturada de atividades e subatividades
- os responsáveis designados para atividades
- um cronograma e datas previstas
- o orçamento e detalhes de outros recursos necessários
- monitoramento
Se a intervenção de saúde digital apoiar uma intervenção de saúde mais ampla, o que é frequentemente o caso, o plano de implementação de monitoramento e avaliação relacionado especificamente com a tecnologia de saúde digital pode ser incorporado no plano de implementação de monitoramento e avaliação para a intervenção ou programa de saúde mais amplo.