A nova referência para inteligência auditiva

O som é uma parte crítica do percepção multimodal. Para que um sistema – seja um assistente de voz, um monitor de segurança de próxima geração ou um agente autônomo – se comporte naturalmente, ele deve demonstrar uma gama completa de capacidades auditivas. Esses recursos incluem transcrição, classificação, recuperação, raciocínio, segmentação, agrupamento, reclassificação e reconstrução.

Estas diversas funções dependem da transformação do som bruto em uma representação intermediária, ou incorporação. Mas a investigação sobre a melhoria das capacidades auditivas dos modelos de percepção multimodais tem sido fragmentada e permanecem questões importantes sem resposta: Como comparamos o desempenho em domínios como a fala humana e a bioacústica? Qual é o verdadeiro potencial de desempenho que estamos deixando em cima da mesa? E poderia uma incorporação sonora única e de uso geral servir como base para todos esses recursos?

Para investigar essas questões e acelerar o progresso em direção a uma robusta inteligência sonora de máquinas, criamos o Referência de incorporação de som massivo (MSEB), apresentado em NeuroIPS 2025.

O MSEB fornece a estrutura necessária para responder a estas questões:

• Padronização da avaliação para um conjunto abrangente de oito capacidades do mundo real que acreditamos que todo sistema inteligente semelhante ao humano deve possuir.
• Fornecendo uma estrutura aberta e extensível que permite aos pesquisadores integrar e avaliar perfeitamente qualquer tipo de modelo – desde modelos unimodais downstream convencionais até modelos em cascata e modelos de incorporação multimodal de ponta a ponta.
• Estabelecer metas de desempenho claras para destacar objetivamente as oportunidades de pesquisa além das atuais abordagens de última geração.

Nossos experimentos iniciais confirmam que as representações sonoras atuais estão longe de serem universais, revelando “headroom” de desempenho substancial (ou seja, melhoria máxima possível) em todas as oito tarefas.