Uma equipe de pesquisadores médicos da Escola de Medicina e Odontologia Schulich da Western University descobriu que o ChatGPT ainda não está pronto para ser usado em ambientes de diagnóstico para doenças humanas. Pesquisas anteriores e evidências anedóticas mostraram que modelos de linguagem grande (LLM) como o ChatGPT podem fornecer resultados impressionantes em algumas solicitações, como escrever um poema de amor para a namorada, mas também podem retornar respostas incorretas ou bizarras.

Por isso, especialistas sugerem cautela ao usar os resultados produzidos por um desses modelos para tópicos importantes como conselhos de saúde. No novo estudo, pesquisadores do Canadá avaliaram quão bem o ChatGPT diagnosticaria doenças humanas se apresentasse sintomas de pacientes reais, conforme descrito em estudos de casos reais.

Eles escolheram 150 estudos de caso do Medscape, um site online criado e usado por profissionais médicos para fins informativos e educacionais, que foram acompanhados por um diagnóstico preciso e conhecido. Eles treinaram o ChatGPT 3.5 com dados pertinentes, como histórico do paciente, resultados laboratoriais e resultados de exames de consultório, e então solicitaram um diagnóstico e/ou um plano de tratamento.

Depois que a ferramenta retornou uma resposta, a equipe de pesquisa classificou seus resultados com base no quão próximo chegou do diagnóstico correto. Eles também avaliaram o quão bem ele relatou sua justificativa para chegar ao diagnóstico, incluindo a oferta de citações – uma parte importante do diagnóstico médico. Eles então calcularam a média das pontuações recebidas para todos os estudos de caso e os resultados, publicados no site de acesso aberto PLOS ONE, mostraram que o ChatGPT deu um diagnóstico correto apenas 49% das vezes.

Os investigadores observam que, embora o ChatGPT tenha obtido uma pontuação fraca, fez um bom trabalho ao descrever como chegou ao diagnóstico – uma característica que pode ser útil para estudantes de medicina, por exemplo. Eles também observaram que a inteligência artificial era razoavelmente bom em descartar possíveis doenças. No entanto, concluem que essa ferramenta ainda não está pronta para uso em ambientes de diagnóstico.