Cientistas da University College London (UCL) desenvolveram uma estrutura para testar a capacidade de chatbots de IA responderem aos usuários com vulnerabilidades psicológicas específicas, como depressão , mania , psicose , transtorno obsessivo-compulsivo ou apego inseguro , e com uma ampla gama de interesse, por exemplo, tentar fazer com que o chatbot concorde com eles, minimize suas dificuldades ou endosse ações de risco.

Segundo os pesquisadores, isso poderia ajudar a identificar pontos fracos e testar maneiras de tornar as interações relacionadas à saúde mental mais seguras. Além da UCL, o trabalho publicado na Nature Medicine também foi liderado por pesquisadores da Universidade de Oxford e do Instituto de Segurança de IA do Reino Unido.

Chamado de SIM-VAIL , uma estrutura que simula usuários com vulnerabilidades psicológicas e, em seguida, envolve os chatbots em conversas de múltiplas interações. Por fim, avalia cada interação de acordo com dimensões de risco clinicamente fundamentadas.

"Desenvolvemos o SIM-VAIL para abordar uma lacuna na forma como os chatbots são atualmente avaliados quanto aos riscos à saúde mental. Muitos parâmetros de avaliação existentes disponíveis como um chatbot respondem a uma única mensagem, enquanto riscos importantes podem surgir gradualmente ao longo de uma conversa", afirmou o autor principal do estudo, Matthew Nour (Centro Max Planck UCL de Psiquiatria Computacional e Pesquisa sobre Envelhecimento e Universidade de Oxford).

Foram investigadas 810 conversas com novos modelos de IA (incluindo os modelos Claude, ChatGPT, Gemini, Grok e Llama), abrangendo 30 perfis de usuários simulados e mais de 90.000 avaliações clínicas.

Os resultados mostraram que comportamentos preocupantes em chatbots eram generalizados, embora tenham sido significativamente reduzidos em modelos mais recentes.

Os riscos foram operados ocasionalmente quando respostas aparentemente dirigidas reforçaram inadvertidamente os processos psicológicos subjacentes à vulnerabilidade do usuário. Os pesquisadores denominaram esse padrão de Ciclo de Interação Amplificador de Vulnerabilidade , ou VAIL .

Entretanto, o estudo de parceria um caminho para melhoria: substituir uma única resposta preocupante no início de uma interação levou a trocas subsequentes mais seguras. Isso sugere que intervenções direcionadas nos objetivos iniciais de escalada podem melhorar a trajetória de toda uma conversa.

“O SIM-VAIL permite-nos examinar estas trajetórias de múltiplas curvas de forma sistemática e em grande escala, e fornece uma base para melhorias de segurança direcionadas e sensíveis ao contexto”, afirmou Nour.

Os pesquisadores também lançaram o SIM-VAIL Explorer , uma plataforma aberta que permite aos pesquisadores, desenvolvedores de IA e ao público examinar as conversas do estudo, acompanhar como os riscos se desenvolvem em cada interação e comparar resultados entre modelos, vulnerabilidades psicológicas e objetivos conversacionais.

"Milhões de pessoas já usam chatbots de IA de uso geral para discutir questões emocionais e de saúde mental. Nossos resultados mostram que a segurança não pode ser capturada por uma única classificação geral: ela depende de quem é o usuário e de como a conversa se desenvolve. Ao disponibilizar a estrutura, os dados e o Explorer de forma aberta, ajudamos pesquisadores e desenvolvedores a identificar pontos fracos específicos e avaliar se os novos sistemas estão realmente trazendo melhorias", explicou o coautor do estudo Veith Weilnhammer (Centro Max Planck UCL de Psiquiatria Computacional e Pesquisa sobre Envelhecimento).