Vieses algorítmicos e saúde mental: como modelos de IA podem reforçar preconceitos clínicos

Nos últimos anos, a tecnologia que mais impressionou os seres humanos (positiva e negativamente) parece terem sido as Inteligências Artificiais (IA).

Os avanços recentes das IAs têm cada vez mais impulsionado sua aplicação em diversas áreas do conhecimento, desde a produção de carros e eletrodomésticos até na área da saúde, incluindo a saúde mental.

Algoritmos de aprendizado vêm sendo utilizados para triagem, apoio diagnóstico, monitoramento de sintomas e intervenções terapêuticas online, especialmente assíncronas.

Contudo, junto a esse crescimento, algumas preocupações éticas relevantes aparecem, especialmente relacionadas aos chamados vieses algorítmicos das evidências científicas que alimentam os modelos de IA. (Matos, 2022).

A maioria das evidências de efetividade de tratamentos em psicologia advém de populações culturalmente semelhantes aos Estados Unidos: predominantemente branca de países desenvolvidos (Hofstede et al., 2012; Minkov, 2013).

A sensibilidade dos tratamentos não leva em conta o contexto cultural do paciente, em que valores, crenças e atitudes podem diferir daqueles pressupostos pela intervenção original, além de que comumente os recursos tendem a ser mais escassos.

Este é um desafio que os pesquisadores e clínicos em psicologia enfrentam há décadas, tecendo críticas ao fazer pesquisa e prática clínica de psicólogos ao redor do globo. Destas discussões, surgiu o termo WEIRD.

O acrônimo WEIRD foi criado para descrever o perfil sociocultural predominante dos participantes de pesquisas em psicologia e ciências comportamentais.

Ele significa Western, Educated, Industrialized, Rich and Democratic (Ocidentais, Escolarizados, Industrializados, Ricos e Democráticos) e foi sistematizado por Henrich, Heine e Norenzayan no artigo clássico The weirdest people in the world? (Henrich et al., 2010).

O termo surgiu como uma crítica ao fato de que a maioria dos estudos psicológicos generaliza conclusões sobre “a mente e comportamento humano” a partir de pesquisas com participantes extremamente restritos, sendo os estudos majoritariamente compostos por estudantes universitários de países ocidentais, especialmente dos Estados Unidos.

Segundo os autores, embora esses grupos representem uma pequeníssima fração da população mundial, eles são tratados implicitamente como universais na produção de conhecimento científico (Henrich et al., 2010).

Sabe-se que a prática clínica baseada em evidências advém da produção científica e de estudos de efetividade de tratamentos em saúde mental. Uma vez que estes estudos são pouco generalizáveis para a população global, têm-se um ponto de atenção.

Características típicas de populações européias e norte-americanas (tais como o individualismo, o raciocínio analítico ou a valorização da escolha pessoal) são, na realidade, produtos culturais específicos (Henrich et al., 2010).

Ou seja, visto que a literatura científica tem se atentado cada vez mais para as críticas ao seu próprio enviesamento, deve-se questionar também os sistemas que foram e são alimentados com essa produção enviesada (no caso, os modelos de IA).

Na interseção entre tecnologia e saúde mental, o impacto desses vieses é particularmente sensível. Diagnósticos psicológicos e a construção de formulações de caso envolvem interpretações subjetivas, influências culturais e contextuais.

Este já é um desafio para o próprio clínico em termos de formação e processo de aprendizagem, mas torna-se ainda maior ao se pensar em modelos de linguagem.

O uso de modelos algorítmicos torna-se ainda mais potencialmente arriscado quando não há representatividade e sensibilidade clínica adequadas, algo que tem sido cada vez mais observado e treinado na formação continuada baseada em evidências em psicologia (Timmons et al., 2023).

Vieses algorítmicos podem ser definidos como distorções sistemáticas nos resultados produzidos por modelos de IA, que favorecem ou prejudicam determinados indivíduos ou grupos sociais, especialmente aqueles mais vulnerabilizados.

Esses vieses não surgem de forma aleatória, mas estão profundamente relacionados às escolhas humanas envolvidas na coleta de dados, na definição de variáveis e nos critérios de otimização dos algoritmos (tanto da empresa que criou o modelo de linguagem, quanto dos dados que o alimentam) (Timmons et al., 2023).

Um dos principais fatores de origem do viés está nos dados de treinamento do modelo (compostos majoritariamente por pesquisas com populações WEIRD, como citado anteriormente).

Além disso, decisões técnicas, como a definição de diagnósticos possivelmente precipitados, elaboração de métricas de desempenho e/ou má elaboração de diagnósticos diferenciais, podem incorporar pressupostos clínicos enviesados, perpetuando desigualdades existentes (Matos, 2022).

Por exemplo, estudos recentes indicam que modelos de IA tendem a apresentar menor precisão diagnóstica para mulheres, pessoas racializadas (como pessoas negras, indígenas, amarelas e pardas) e indivíduos de baixa renda, resultando em subdiagnóstico, sobrediagnóstico ou recomendações terapêuticas inadequadas, existindo o risco de revitimização do paciente (Matos, 2022).

A discriminação algorítmica pode se manifestar, por exemplo, na subestimação de sintomas depressivos em populações não brancas ou na associação excessiva de determinados transtornos a estereótipos de gênero (como associar maior grau de agressividade a mulheres negras e maior fragilidade e permissividade a mulheres brancas).

Esses vieses podem afetar a experiência de cuidado do paciente, reduzindo a sua confiança nos profissionais de saúde e comprometendo a qualidade do atendimento (Timmons et al., 2023). Este é um perigo visto cada vez mais de perto: a fim de “melhorar” o atendimento com o uso da tecnologia, pode-se criar um ambiente que causa dano ao paciente.

Atualmente, a IA é aplicada na saúde mental em áreas como triagem automatizada, predição de risco, análise de linguagem em prontuários clínicos e terapias assistidas por chatbots. Essas ferramentas são frequentemente treinadas com grandes volumes de dados clínicos, registros em prontuários eletrônicos de saúde e interações digitais dos usuários (Gado et al., 2021).

Como resultado, os modelos aprendem padrões que reproduzem decisões discriminatórias anteriores, sem considerar adequadamente fatores socioculturais que influenciam a manifestação do sofrimento psíquico (Matos, 2022). É como se os modelos de IA estivessem reproduzindo os preconceitos e discriminações que os profissionais de saúde e pesquisadores também reproduzem em seu trabalho.

Além disso, a falta de formação em IA entre profissionais da psicologia pode dificultar a identificação crítica dessas limitações, levando os profissionais para interpretações do tipo “tudo ou nada”: ou IA é totalmente confiável ou é completamente imprestável (Gado et al., 2021).

A mitigação de vieses algorítmicos é um trabalho de décadas. Uma vez que os vieses entre os modelos de IA advém de vieses na própria produção de conhecimento em psicologia, há muito o que fazer para mitigar o problema.

O primeiro passo, entretanto, já foi dado: os pesquisadores parecem estar produzindo cada vez mais literatura científica culturalmente sensível em relação às diversas populações do mundo nos últimos anos, e estas produções tendem a crescer (de-amorim et al., 2024).

No que tange a prática profissional, abordagens técnicas e estratégias devem compor cursos de formação de psicólogos, com tais procedimentos institucionalizados (Timmons et al., 2023).

O desenvolvimento de Competências Multiculturais em psicólogos também é uma forma de tornar mais equitativo o atendimento da população em saúde mental.

Competências Multiculturais se referem às habilidades do terapeuta de se engajar e trabalhar com efetividade com populações diversas (Chu et al., 2017; Domenech Rodríguez & Bernal, 2012). A definição mais comum compreende as competências baseadas em um modelo tripartite, consistindo em Consciência Cultural; Conhecimento Cultural; e Habilidades Culturais.

Consciência cultural se refere ao quanto o psicólogo reconhece seus vieses culturais e suas múltiplas identidades de raça, gênero, classe e outros marcadores sociais. Conhecimento cultural significa o quanto o psicólogo se aprofunda e valida culturas e estilos de vida diferentes dos seus. Habilidades culturais fazem menção à forma como o psicólogo entrega o melhor conteúdo de intervenção da melhor forma possível de acordo com as necessidades daquela pessoa atendida (Arredondo & Toporek, 2004; Soto et al., 2019; Sue, 1998).

Ademais, a diversidade nas equipes de hospitais e clínicas, bem como a colaboração interdisciplinar entre pesquisadores e profissionais que atuam no mercado de trabalho são fundamentais para reduzir preconceitos incorporados aos sistemas.

Se a pesquisa tem feito um movimento de maior sensibilidade cultural, é crucial que esta ação saia dos muros das universidades e centros de pesquisa e chegue à população.

A transparência nos modelos e a responsabilização dos desenvolvedores também são elementos centrais para um uso mais seguro e equitativo da IA na saúde mental (Gado et al., 2021).

O futuro da IA na saúde mental depende da capacidade de alinhar inovação tecnológica com princípios éticos e inclusivos.

Há potencial para o desenvolvimento de modelos mais sensíveis ao contexto cultural, capazes de apoiar decisões clínicas sem substituir o julgamento humano (Timmons et al., 2023). Contudo, é importante discutir que o movimento de reparação destes vieses já se iniciou. Se ele será fomentado ou cerceado também depende dos interesses dos grandes donos de tecnologias e bigtechs.

Também parece fundamental o papel da sociedade e dos profissionais de saúde em relação à formação crítica do uso da IA.

A educação em competências digitais e éticas torna-se essencial para garantir que essas tecnologias contribuam para a redução (e não para a ampliação) das desigualdades em saúde mental.

Esta parece ser uma responsabilidade dos centros de formação, mas também dos próprios profissionais comprometidos com seu trabalho e prática profissional (Gado et al., 2021).

Graduada em Psicologia pela Universidade de Ribeirão Preto (UNAERP). Mestra em Ciências pela Universidade de São Paulo (USP). Doutoranda em Psicobiologia pela USP. Membro do Laboratório de Pesquisa e Intervenção Cognitivo-Comportamental (LaPICC-USP). Formação em Terapia de Esquemas pelo Instituto Wainer. Especialista em Análise do Comportamento pelo Instituto Fapsi.

Psicóloga pela Faculdade de Filosofia, Ciências e Letras de Ribeirão Preto da Universidade de São Paulo (FFCLRP-USP). Mestranda no Programa de Pós-Graduação em Psicologia da FFCLRP-USP. Membro do Laboratório de Pesquisa e Intervenção Cognitivo-Comportamental (LaPICC). Especialização em Psicologia da Saúde no Contexto Hospitalar com ênfase em Psicologia Pediátrica pelo Hospital das Clínicas da Faculdade de Medicina da USP-RP (HCFMRP-USP). Formação em Terapia Cognitivo-Comportamental e TCC para obesidade e emagrecimento.

Livre docente pela FFCLRP-USP. Pós-doutora em Psicologia pela Universidade Federal do Rio de Janeiro - UFRJ, Doutora e Mestre em Psicologia pela Pontifícia Universidade Católica do Rio Grande do Sul - PUCRS. Formação em Terapia dos Esquemas pelo LaPICC-USP. Formação em Ensino e Supervisão pelo Beck Institute. Terapeuta Certificada em TCC pela Federação Brasileira de Terapias Cognitivas – FBTC. Psicóloga pela Universidade da Região da Campanha - URCAMP. Fundadora e coordenadora do Laboratório de Pesquisa e Intervenção Cognitivo-Comportamental – LaPICC-USP. Bolsista Produtividade do CNPq. Presidente Fundadora da Associação de Intervenções Psicossociais para Grupos - APSIG. Past-President da Federação Latino-Americana de Psicoterapias Cognitivas e Comportamentais - ALAPCCO. Representante do Brasil na Sociedade Interamericana de Psicologia - SIP. Ex-Presidente Fundadora da Associação de Ensino e Supervisão Baseados em Evidências – AESBE. Ex-Presidente da Federação Brasileira de Terapias Cognitivas - FBTC.