À medida que as tecnologias de IA avançam, agentes verdadeiramente úteis tornar-se-ão capazes de antecipar melhor as necessidades dos utilizadores. Para que as experiências em dispositivos móveis sejam realmente úteis, os modelos subjacentes precisam entender o que o usuário está fazendo (ou tentando fazer) quando interage com eles. Uma vez compreendidas as tarefas atuais e anteriores, o modelo tem mais contexto para prever possíveis próximas ações. Por exemplo, se um utilizador pesquisou anteriormente festivais de música em toda a Europa e agora procura um voo para Londres, o agente poderia oferecer-se para encontrar festivais em Londres nessas datas específicas.

Grandes LLMs multimodais já são muito bons para compreender a intenção do usuário a partir de uma trajetória de interface do usuário (IU). Mas o uso de LLMs para esta tarefa normalmente exigiria o envio de informações para um servidor, o que pode ser lento, caro e acarreta o risco potencial de exposição de informações confidenciais.

Nosso artigo recente “Modelos pequenos, grandes resultados: alcançando extração de intenção superior por meio da decomposição”, apresentado em EMNLP 2025aborda a questão de como usar pequeno LLMs multimodais (MLLMs) para compreender sequências de interações do usuário na web e em dispositivos móveis, tudo no dispositivo. Ao separar a compreensão da intenção do usuário em dois estágios, primeiro resumindo cada tela separadamente e depois extraindo uma intenção da sequência de resumos gerados, tornamos a tarefa mais tratável para modelos pequenos. Também formalizamos métricas para avaliação do desempenho do modelo e mostramos que nossa abordagem produz resultados comparáveis ​​a modelos muito maiores, ilustrando seu potencial para aplicações em dispositivos. Este trabalho se baseia anterior trabalhar de nossa equipe sobre a compreensão da intenção do usuário.