Ajudando a IA a ter memória de longo prazo

O Arquitetura do transformador revolucionou modelagem de sequência com a sua introdução atençãoum mecanismo pelo qual os modelos analisam entradas anteriores para priorizar dados de entrada relevantes. No entanto, o custo computacional aumenta drasticamente com o comprimento da sequência, o que limita a capacidade de dimensionar modelos baseados em Transformer para contextos extremamente longos, como aqueles necessários para a compreensão completa de documentos ou análise genômica.

A comunidade de pesquisa explorou várias abordagens para soluções, como soluções lineares eficientes redes neurais recorrentes (RNNs) e modelos de espaço de estado (SSMs) como Mamba-2. Esses modelos oferecem escalonamento rápido e linear, compactando o contexto em um tamanho fixo. No entanto, esta compressão de tamanho fixo não consegue capturar adequadamente a informação rica em sequências muito longas.

Em dois novos artigos, Titãs e HERANÇAapresentamos uma arquitetura e um projeto teórico que combina a velocidade dos RNNs com a precisão dos transformadores. Titans é a arquitetura específica (a ferramenta) e MIRAS é a estrutura teórica (o modelo) para generalizar essas abordagens. Juntos, eles avançam o conceito de memorização em tempo de teste, a capacidade de um modelo de IA de manter a memória de longo prazo, incorporando métricas “surpresa” mais poderosas (ou seja, informações inesperadas) enquanto o modelo está em execução e sem retreinamento offline dedicado.

A estrutura MIRAS, conforme demonstrado por Titans, introduz uma mudança significativa em direção à adaptação em tempo real. Em vez de compactar informações em um estado estático, essa arquitetura aprende e atualiza ativamente seus próprios parâmetros à medida que os dados fluem. Esse mecanismo crucial permite que o modelo incorpore detalhes novos e específicos em seu conhecimento central instantaneamente.