Novo estudo aponta riscos éticos graves

Pesquisadores da Universidade Brown, trabalhando em estreita colaboração com profissionais de saúde mental, identificaram padrões repetidos de comportamento problemático. Nos testes, os chatbots lidaram mal com situações de crise, forneceram respostas que reforçavam crenças prejudiciais sobre os usuários ou outras pessoas e usaram uma linguagem que criava a aparência de empatia sem compreensão genuína.

“Neste trabalho, apresentamos uma estrutura informada por profissionais de 15 riscos éticos para demonstrar como os conselheiros LLM violam os padrões éticos na prática de saúde mental, mapeando o comportamento do modelo para violações éticas específicas,” escreveram os pesquisadores em seu estudo. “Fazemos um apelo para que futuros trabalhos criem padrões éticos, educacionais e legais para conselheiros LLM — padrões que reflitam a qualidade e o rigor do cuidado necessário para a psicoterapia facilitada por humanos.”

As descobertas foram apresentadas na Conferência AAAI/ACM sobre Inteligência Artificial, Ética e Sociedade. A equipe de pesquisa está afiliada ao Centro de Responsabilidade Tecnológica, Reimaginação e Redesign da Brown.

Como os Prompts Moldam as Respostas da Terapia de IA

Zainab Iftikhar, candidata a Ph.D. em ciência da computação na Brown que liderou o estudo, buscou examinar se prompts cuidadosamente elaborados poderiam guiar os sistemas de IA a se comportarem de maneira mais ética em ambientes de saúde mental. Prompts são instruções escritas projetadas para direcionar a saída de um modelo sem re-treiná-lo ou adicionar novos dados.

“Prompts são instruções que são dadas ao modelo para guiar seu comportamento para alcançar uma tarefa específica,” disse Iftikhar. “Você não muda o modelo subjacente ou fornece novos dados, mas o prompt ajuda a guiar a saída do modelo com base em seu conhecimento pré-existente e padrões aprendidos.”

“Por exemplo, um usuário pode direcionar o modelo com: ‘Atue como um terapeuta cognitivo-comportamental para me ajudar a reformular meus pensamentos,’ ou ‘Use princípios da terapia comportamental dialética para me ajudar a entender e gerenciar minhas emoções.’ Embora esses modelos não executem realmente essas técnicas terapêuticas como um humano faria, eles usam seus padrões aprendidos para gerar respostas que se alinham aos conceitos de TCC ou DBT com base no prompt fornecido.”

Pessoas regularmente compartilham essas estratégias de prompts em plataformas como TikTok, Instagram e Reddit. Além da experimentação individual, muitos chatbots de saúde mental voltados para o consumidor são construídos aplicando prompts relacionados à terapia a LLMs de propósito geral. Isso torna especialmente importante entender se somente o prompting pode tornar o aconselhamento de IA mais seguro.

Testando Chatbots de IA em Aconselhamento Simulado

Para avaliar os sistemas, os pesquisadores observaram sete conselheiros pares treinados que tinham experiência com terapia cognitivo-comportamental. Esses conselheiros conduziram sessões de autoacompanhamento com modelos de IA direcionados a agir como terapeutas de TCC. Os modelos testados incluíam versões da Série GPT da OpenAI, Claude da Anthropic e Llama da Meta.

A equipe então selecionou chats simulados com base em conversas reais de aconselhamento humano. Três psicólogos clínicos licenciados revisaram esses transcritos para sinalizar possíveis violações éticas.

A análise revelou 15 riscos distintos agrupados em cinco categorias amplas:

• Falta de adaptação contextual: Ignorar o histórico único de uma pessoa e oferecer conselhos genéricos.
• Pobre colaboração terapêutica: Conduzir a conversa de forma excessiva e, às vezes, reforçar crenças erradas ou prejudiciais.
• Empatia enganosa: Usar frases como “Eu vejo você” ou “Eu entendo” para sugerir conexão emocional sem verdadeira compreensão.
• Discriminação injusta: Exibir preconceitos relacionados a gênero, cultura ou religião.
• Falta de segurança e manejo de crises: Recusar-se a abordar questões sensíveis, falhar em direcionar os usuários para ajuda adequada ou responder inadequadamente a crises, incluindo pensamentos suicidas.

A Lacuna de Responsabilidade na Saúde Mental de IA

Iftikhar observou que terapeutas humanos também podem cometer erros. A principal diferença é a supervisão.

“Para terapeutas humanos, existem conselhos reguladores e mecanismos para que os prestadores possam ser responsabilizados profissionalmente por maus-tratos e erros profissionais,” disse Iftikhar. “Mas quando conselheiros LLM cometem essas violações, não há estruturas regulatórias estabelecidas.”

Os pesquisadores enfatizam que suas descobertas não sugerem que a IA não tenha lugar na saúde mental. Ferramentas impulsionadas por inteligência artificial poderiam ajudar a expandir o acesso, particularmente para pessoas que enfrentam altos custos ou disponibilidade limitada de profissionais licenciados. No entanto, o estudo destaca a necessidade de salvaguardas claras, implantação responsável e estruturas regulatórias mais robustas antes de confiar nesses sistemas em situações críticas.

No momento, Iftikhar espera que o trabalho encoraje a cautela.

“Se você está conversando com um chatbot sobre saúde mental, essas são algumas coisas que as pessoas devem estar atentas,” disse ela.

Por que Avaliações Rigorosas São Importantes

Ellie Pavlick, professora de ciência da computação na Brown que não participou da pesquisa, afirmou que o estudo destaca a importância de examinar cuidadosamente os sistemas de IA usados em áreas sensíveis como a saúde mental. Pavlick lidera a ARIA, um instituto de pesquisa em IA da Fundação Nacional de Ciência na Brown focado em construir assistentes de IA confiáveis.

“A realidade da IA hoje é que é muito mais fácil construir e implantar sistemas do que avaliar e entendê-los,” disse Pavlick. “Este artigo exigiu uma equipe de especialistas clínicos e um estudo que durou mais de um ano para demonstrar esses riscos. A maioria dos trabalhos em IA hoje é avaliada usando métricas automáticas que, por design, são estáticas e carecem de uma intervenção humana.”

Ela acrescentou que o estudo pode servir como um modelo para futuras pesquisas com o objetivo de melhorar a segurança em ferramentas de saúde mental de IA.

“Há uma oportunidade real para a IA desempenhar um papel no combate à crise de saúde mental que nossa sociedade está enfrentando, mas é de extrema importância que dediquemos tempo para realmente criticar e avaliar nossos sistemas em cada etapa do caminho para evitar causar mais danos do que benefícios,” disse Pavlick. “Este trabalho oferece um bom exemplo de como isso pode ser.”