Para tornar o Street View acessível por meio de IA multimodal sensível ao contexto

Bate-papo com IA

O AI Chat baseia-se no AI Describer, mas permite que os usuários façam perguntas sobre sua visualização atual, visualizações anteriores e localização geográfica próxima. O agente de chat usa API multimodal ao vivo do Googleque suporta interação em tempo real, chamada de função e retém temporariamente a memória de todas as interações em uma única sessão. Rastreamos e enviamos cada interação de panorâmica ou movimento juntamente com a visualização atual e o contexto geográfico do usuário (por exemplo, locais próximos, direção atual).

O que torna o AI Chat tão poderoso é sua capacidade de manter uma “memória” temporária da sessão do usuário – a janela de contexto é definida para um máximo de 1.048.576 tokens de entrada, o que equivale aproximadamente a mais de 4 mil imagens de entrada. Como o AI Chat recebe a visão e a localização do usuário a cada etapa virtual, ele coleta informações sobre a localização e o contexto do usuário. Um usuário pode virtualmente passar por um ponto de ônibus, virar uma esquina e perguntar: “Espere, onde era aquele ponto de ônibus?”O agente pode relembrar seu contexto anterior, analisar a entrada geográfica atual e responder:“A parada de ônibus fica atrás de você, a aproximadamente 12 metros de distância.”