Alguns médicos veem os LLMs como uma vantagem para a alfabetização médica. O paciente médio pode ter dificuldade em navegar no vasto panorama da informação médica online – e, em particular, em distinguir fontes de alta qualidade de websites polidos mas factualmente duvidosos – mas os LLMs podem fazer esse trabalho por eles, pelo menos em teoria. Tratar pacientes que pesquisaram seus sintomas no Google exigiu “muito ataque à ansiedade do paciente (e) redução da desinformação”, diz Marc Succi, professor associado da Harvard Medical School e radiologista praticante. Mas agora, diz ele, “você vê pacientes com formação universitária, ensino médio, fazendo perguntas no nível de algo que um jovem estudante de medicina poderia fazer”.

O lançamento do ChatGPT Health e do Anthropic’s anúncio subsequente de novas integrações de saúde para Claude, indicam que os gigantes da IA ​​​​estão cada vez mais dispostos a reconhecer e incentivar o uso de seus modelos relacionados à saúde. Tais utilizações certamente apresentam riscos, dadas as tendências bem documentadas dos LLMs de concordar com os usuários e inventar informações em vez de admitir ignorância.

Determinar a eficácia de um chatbot como ChatGPT ou Claude para a saúde do consumidor, no entanto, é complicado. “É extremamente difícil avaliar um chatbot aberto”, diz Danielle Bitterman, líder clínica de ciência de dados e IA no sistema de saúde Mass General Brigham. Grandes modelos de linguagem marque bem nos exames de licenciamento médico, mas esses exames usam questões de múltipla escolha que não refletem como as pessoas usam chatbots para procurar informações médicas.

Sirisha Rambhatla, professora assistente de ciências de gestão e engenharia na Universidade de Waterloo, tentou preencher essa lacuna avaliando como o GPT-4o respondeu para licenciar questões de exames quando não tinha acesso a uma lista de respostas possíveis. Os especialistas médicos que avaliaram as respostas pontuaram apenas metade delas como totalmente corretas. Mas as questões do exame de múltipla escolha são projetadas para serem complicadas o suficiente para que as opções de resposta não as denunciem totalmente, e ainda são uma aproximação bastante distante do tipo de coisa que um usuário digitaria no ChatGPT.

UM estudo diferenteque testou o GPT-4o em instruções mais realistas enviadas por voluntários humanos, descobriu que ele respondia corretamente a perguntas médicas em cerca de 85% das vezes. Quando falei com Amulya Yadav, professor associado da Universidade Estadual da Pensilvânia que dirige o Laboratório de IA Responsável pela Emancipação Social e liderou o estudo, ele deixou claro que não era pessoalmente um fã de LLMs médicos voltados para o paciente. Mas ele admite abertamente que, tecnicamente falando, eles parecem estar à altura da tarefa – afinal, diz ele, os médicos humanos diagnosticam mal os pacientes em 10% a 15% das vezes. “Se eu olhar desapaixonadamente, parece que o mundo vai mudar, goste eu ou não”, diz ele.

Desde que os estudos de Yadav e Succi apareceram online, no primeiro semestre de 2025, a OpenAI lançou várias novas versões do GPT, e é razoável esperar que o GPT-5.2 tenha um desempenho ainda melhor do que seus antecessores. Mas os estudos têm limitações importantes: centram-se em questões factuais e simples e examinam apenas breves interações entre utilizadores e chatbots ou ferramentas de pesquisa na web. Algumas das fraquezas dos LLMs – mais notavelmente a sua bajulação e tendência para alucinações – podem ser mais propensas a surgir em conversas mais extensas e com pessoas que estão a lidar com problemas mais complexos. Reeva Lederman, professora da Universidade de Melbourne que estuda tecnologia e saúde, observa que os pacientes que não gostam do diagnóstico ou das recomendações de tratamento que recebem de um médico podem procurar outra opinião de um LLM – e o LLM, se for bajulador, pode encorajá-los a rejeitar o conselho do seu médico.

A OpenAI relatou que a série de modelos GPT-5 é marcadamente menos bajuladora e propensa a alucinações do que seus antecessores, portanto, os resultados desses estudos podem não se aplicar ao ChatGPT Health. A empresa também avaliou o modelo que alimenta o ChatGPT Health em suas respostas a questões específicas de saúde, usando seu benchmark HeathBench disponível publicamente. O HealthBench recompensa modelos que expressam incerteza quando apropriado, recomenda que os usuários procurem atendimento médico quando necessário e evite causar estresse desnecessário aos usuários, dizendo-lhes que sua condição é mais grave do que realmente é. É razoável supor que o modelo subjacente ao ChatGPT Health exibiu esses comportamentos nos testes, embora Bitterman observe que alguns dos prompts no HealthBench foram gerados por LLMs, não por usuários, o que poderia limitar o quão bem o benchmark se traduz no mundo real.