Os pesquisadores do Google DeepMind desenvolveram o BlockRank, um novo método para classificar e recuperar informações de forma mais eficiente em grandes modelos de linguagem (LLMs).

• BlockRank é detalhado em um novo artigo de pesquisa, Classificação escalonável no contexto com modelos generativos.
• BlockRank foi projetado para resolver um desafio chamado In-context Ranking (ICR), ou o processo de fazer com que um modelo leia uma consulta e vários documentos ao mesmo tempo para decidir quais são mais importantes.
• Pelo que sabemos, o BlockRank não está sendo usado pelo Google (por exemplo, Search, Gemini, AI Mode, AI Overviews) no momento – mas poderá ser usado em algum momento no futuro.

O que o BlockRank muda. O ICR é caro e lento. Os modelos usam um processo chamado “atenção”, onde cada palavra se compara a todas as outras palavras. Classificar centenas de documentos de uma vez fica exponencialmente mais difícil para os LLMs.

Como funciona o BlockRank. BlockRank reestrutura a forma como um LLM “presta atenção” ao texto. Em vez de cada documento atender a todos os outros documentos, cada um se concentra apenas em si mesmo e nas instruções compartilhadas.

• A seção de consulta do modelo tem acesso a todos os documentos, permitindo compará-los e decidir qual deles responde melhor à questão.
• Isso transforma o custo de atenção do modelo de crescimento quadrático (muito lento) para linear (muito mais rápido).

Pelos números. Em experimentos usando o Mistral-7B, a equipe do Google descobriu que o BlockRank:

• Funcionou 4,7 vezes mais rápido que os modelos padrão ajustados ao classificar 100 documentos.
• Dimensionado suavemente para 500 documentos (cerca de 100.000 tokens) em aproximadamente um segundo.
• Igualou ou superou os principais classificadores de lista, como RankZephyr e FIRST, em benchmarks como MSMARCO, Natural Questions (NQ) e BEIR.

Por que nos importamos. O BlockRank pode mudar a forma como os futuros sistemas de recuperação e classificação baseados em IA funcionam para recompensar a intenção, a clareza e a relevância do usuário. Isso significa (em teoria) que um conteúdo claro e focado que se alinhe com o motivo pelo qual uma pessoa está pesquisando (não apenas com o que ela digita) deveria vencer cada vez mais.

O que vem a seguir. Os pesquisadores do Google/DeepMind continuam a redefinir o que significa “classificar” informações na era da IA ​​generativa. O futuro da pesquisa está avançando rapidamente – e é fascinante vê-lo evoluir em tempo real.