Desempenho aprimorado para casos de uso de imagens médicas

O MedGemma foi concebido desde o início como um modelo multimodal, refletindo a natureza multimodal da medicina. MedGemma 1 incluiu suporte para interpretação de imagens médicas bidimensionais, incluindo radiografias de tórax, imagens dermatológicas, imagens de fundo de olho e manchas histopatológicas.

Com o MedGemma 1.5, estamos expandindo o suporte para imagens médicas de alta dimensão, começando com representações volumétricas tridimensionais de Tomografia computadorizada e ressonância magnéticabem como slide inteiro imagem histopatológica. Os desenvolvedores podem criar aplicativos nos quais vários cortes (para tomografia computadorizada ou ressonância magnética) ou vários patches (para histopatologia) são fornecidos como entrada junto com um prompt que descreve a tarefa.

Em parâmetros de referência internos, a precisão absoluta da linha de base do MedGemma 1.5 melhorou 3% em relação ao MedGemma 1 (61% vs. 58%) na classificação dos achados de TC relacionados à doença e em 14% (65% vs. 51%) na classificação dos achados de ressonância magnética relacionados à doença, em média sobre os achados. Além disso, em uma referência interna diversificada de lâminas histopatológicas e achados associados, a fidelidade das previsões do MedGemma 1.5, com base em VERMELHO-L pontuação em casos com exatamente uma lâmina histopatológica, melhorada em 0,47 em relação ao MedGemma 1 (0,49 vs. 0,02), correspondendo à pontuação de 0,498 alcançada pelo teste específico da tarefa Modelo PolyPath.

Este novo suporte de alta dimensão é a evolução natural do Fundação CTnossa ferramenta anterior baseada em API para geração de embeddings CT. Até onde sabemos, o MedGemma 1.5 é o primeiro lançamento público de um modelo multimodal aberto de linguagem grande que pode interpretar dados médicos de alta dimensão, ao mesmo tempo que mantém a capacidade de interpretar dados e textos 2D gerais. Embora esses recursos estejam em seus estágios iniciais e permaneçam imperfeitos, os desenvolvedores alcançarão melhores resultados ajustando os modelos MedGemma em seus próprios dados, e esperamos melhorar continuamente os modelos MedGemma ao longo do tempo. Lançamos cadernos tutoriais que ilustram como usar esse recurso de imagem de alta dimensão para CT (Abraçando o rosto, Jardim Modelo) e histopatologia (Abraçando o rosto, Jardim modelo).