read_more
Campus Virtual Fiocruz

Introdução à Saúde Digital

Módulo 1 | Aula 4
Introdução à inteligência artificial na saúde

Tópico 3

Desafios e riscos da IA para a saúde

Que a Inteligência Artificial chegou para ficar e revolucionar diversas áreas antes exclusivamente humanas, isso não há dúvidas. Esse é um caminho sem volta e com muitas oportunidades ainda de melhorias e aplicabilidades, mas as pessoas começam a se questionar até onde a IA pode ir. E na área da saúde, o uso de Inteligência Artificial embute muitas oportunidades, mas também traz riscos relevantes, especialmente quando lidamos com dados sensíveis e podem ter alto impacto sobre a vida de pessoas e grupos.

Talvez a primeira e mais conhecida questão esteja relacionada aos vieses que podem estar embutidos nessas soluções. Como vimos anteriormente, dados são usados junto com algoritmos para criar um modelo de IA, que podem tomar decisões ou apoiá-las.

Assim, se os dados forem inadequados, podemos ter um modelo que trate as pessoas de forma discriminatória. E a principal origem disso é o fato de que os dados disponíveis são uma representação do funcionamento da nossa sociedade, ou seja, se há racismo, machismo ou etarismo na sociedade, isso estará registrado de alguma forma nos dados.

Para Refletir

Será que um modelo treinado com esses dados teria uma forte tendência de reproduzir esse comportamento, criando barreiras adicionais a alguns segmentos da sociedade? Por exemplo, se os dados registram que os principais cargos de uma empresa são sempre ocupados por homens, um modelo treinado com esses dados pode inferir que esse é um atributo esperado para os cargos de direção. Com isso, torna-se mais difícil que a pessoa aprovada seja uma mulher, mesmo que ela tenha um perfil semelhante ou melhor que os candidatos do gênero masculino.

Solucionar essa questão não é uma tarefa simples, pois alguns atributos que preferimos não utilizar no treinamento podem estar correlacionados com outros de maneira sutil. Por exemplo, o uso de palavras no feminino em um currículo pode indicar o gênero da candidata. Neste contexto, uma forma de mitigar essa questão poderia ser avaliar quais características foram as mais relevantes para a decisão de contratar ou não uma pessoa. Infelizmente, entender como um modelo toma decisões específicas costuma ser um desafio em boa parte dos casos, mesmo para os seus desenvolvedores. Muito disso se relaciona com o volume dos dados e a complexidade dos algoritmos, especialmente aqueles baseados em aprendizado profundo (deep learning), que são frequentemente chamados de "caixas-pretas" (black-boxes).

A falta de transparência sobre o funcionamento interno desses modelos é uma questão desafiadora, principalmente em áreas com grande impacto sobre a vida das pessoas, como é o caso da saúde.

Por isso, há um grande esforço para fornecer alguma explicabilidade para os modelos opacos (black-boxes). Este é o objetivo de áreas como a Explainable Artificial Intelligence (XAI), que busca tornar os modelos de Inteligência Artificial mais transparentes e compreensíveis para os seres humanos, fornecendo algum nível de interpretabilidade. O que poderia ajudar na detecção de vieses, no aumento da confiança e na responsabilização sobre o funcionamento do modelo.

Embora haja um outro grupo de modelos chamados de interpretáveis, que podem fornecer explicações do seu funcionamento interno, as inovações mais relevantes de um período recente são baseadas em aprendizagem profunda. E isso levanta preocupações sobre a falta de transparência. Assim, o uso da IA na saúde deve ser precedida de uma avaliação criteriosa sobre a adequação da solução no caso específico e de um eficaz monitoramento do seu funcionamento.