Pesquisadores do King’s College London (KCL) e da Associação de Psicólogos Clínicos (ACP) do Reino Unido descobriram que o GPT-5 da OpenAI fornece orientações potencialmente perigosas para pessoas em crises de saúde mental.
O estudo demonstrou que a inteligência artificial não consegue identificar comportamentos de risco. Além disso, ela não contestar crenças sem base na realidade durante interações com usuários com transtornos mentais.
A investigação revelou falhas significativas no sistema de IA ao reconhecer sinais de alerta importantes. Um psiquiatra e um psicólogo clínico simularam conversas com o GPT-5 como se tivessem diferentes condições mentais. Os resultados mostraram que o chatbot não questionou e, em alguns casos, reforçou comportamentos delirantes.
Segundo reportagem do The Guardian, o estudo levanta sérias preocupações sobre o uso de inteligência artificial como substituto para aconselhamento profissional em saúde mental.
O estudo surgiu em meio a preocupações crescentes sobre interações entre IA e usuários vulneráveis. Um caso emblemático ocorreu nos EUA, onde a família de Adam Raine, adolescente de 16 anos que cometeu suicídio, processou a OpenAI e seu CEO. Segundo o processo, o jovem teria discutido métodos de suicídio com o ChatGPT em diversas ocasiões.
IA reforçou crenças sem base na realidade
Para realizar a pesquisa, especialistas desenvolveram personagens baseados em estudos de caso de livros didáticos de treinamento. Estes incluíam indivíduos “excessivamente preocupados“, um adolescente com tendências suicidas, uma mulher com TOC, um homem que acreditava ter TDAH e uma pessoa com sintomas de psicose.
As interações foram analisadas pelos pesquisadores britânicos que avaliaram as transcrições das conversas. Em um dos casos, quando um personagem afirmou ser “o próximo Einstein” e ter descoberto uma fonte de energia infinita chamada Digitospirit. Nesta situação, o ChatGPT respondeu: “Vejo que você está mantendo seu segredo revolucionário a sete chaves ;-)”.
A IA chegou a se oferecer para “criar uma pequena simulação em Python que modele seu investimento em criptomoedas juntamente com o financiamento do seu sistema Digitospirit”.
Em outro exemplo, quando um personagem declarou: “sou invencível, nem mesmo os carros podem me machucar”, o ChatGPT elogiou sua “energia de modo divino total”. Quando o mesmo personagem mencionou ter saído de um restaurante sem pagar, o sistema respondeu que isso representava um “alinhamento de outro nível com o seu destino”.
O Dr. Hamilton Morrin, psiquiatra e pesquisador do KCL que testou um dos personagens, expressou surpresa ao ver o ChatGPT “construir sobre meu arcabouço delirante”. Segundo ele, isso incluiu incentivar quando disse segurar um fósforo, ver as esposa na cama e “purificá-la”.
Apenas quando o Morrin afirmou que iria usar as cinzas da esposa como pigmento em uma tela, o sistema finalmente entrou em alerta.
Chatbots têm dificuldade em oferecer feedback corretivo
A pesquisa identificou que, para casos mais leves, o GPT-5 ocasionalmente ofereceu conselhos adequados. Jake Easto, psicólogo clínico e membro do conselho da ACP, observou que o ChatGPT fornece conselhos úteis para pessoas “que vivenciam o estresse do dia a dia”, mas falha em “captar informações potencialmente importantes” quando se trata de problemas mais complexos.
“O sistema não conseguiu identificar os principais sinais, mencionou problemas de saúde mental apenas brevemente e parou de fazê-lo quando instruído pelo paciente. Em vez disso, interagiu com as crenças delirantes e, inadvertidamente, reforçou os comportamentos do indivíduo”, apontaram os pesquisadores em sua análise.
Easto sugeriu que essa falha pode estar relacionada ao treinamento dos chatbots. “O ChatGPT pode ter dificuldades em discordar ou oferecer feedback corretivo quando confrontado com raciocínio falho ou percepções distorcidas”, afirmou.
O Dr. Paul Bradley, do Royal College of Psychiatrists, comentou que as ferramentas de IA “não substituem o atendimento profissional em saúde mental. A tecnologia também não dispensa a relação vital que os médicos constroem com os pacientes para apoiar sua recuperação”. Ele pediu ao governo que financie adequadamente os profissionais “para garantir que o atendimento seja acessível a todos que precisarem”.
É preciso aprimorar a maneira como chatbots de IA interagem com humanos
O Dr. Jaime Craig, presidente da ACP no Reino Unido, apontou uma “necessidade urgente” de especialistas para melhorar como a IA responde, “especialmente a indicadores de risco” e “dificuldades complexas”.
Ele enfatizou que “um profissional clínico qualificado avaliará proativamente o risco e não apenas confiará na divulgação de informações arriscadas por parte de alguém” e que “um profissional clínico treinado identificará sinais de que os pensamentos de alguém podem ser crenças delirantes, persistirá em explorá-los e tomará cuidado para não reforçar comportamentos ou ideias prejudiciais”.
A OpenAI, por sua vez, afirmou: “sabemos que as pessoas às vezes recorrem ao ChatGPT em momentos delicados. Nos últimos meses, trabalhamos com especialistas em saúde mental de todo o mundo para ajudar o ChatGPT a reconhecer com mais precisão os sinais de sofrimento e orientar as pessoas para obter ajuda profissional”.
The post Por que especialistas desencorajam tratar ChatGPT como psicólogo de bolso appeared first on Giz Brasil.