Quando e por que os sistemas de agentes funcionam

Os agentes de IA — sistemas capazes de raciocinar, planear e agir — estão a tornar-se um paradigma comum para aplicações de IA do mundo real. De assistentes de codificação para treinadores de saúde pessoala indústria está mudando de respostas a perguntas únicas para interações sustentadas em várias etapas. Embora os pesquisadores utilizem há muito tempo métricas estabelecidas para otimizar a precisão dos modelos tradicionais de aprendizado de máquina, os agentes introduzem uma nova camada de complexidade. Ao contrário das previsões isoladas, os agentes devem navegar por interações sustentadas em várias etapas, nas quais um único erro pode se espalhar por todo o fluxo de trabalho. Essa mudança nos obriga a olhar além da precisão padrão e perguntar: como podemos realmente projetar esses sistemas para obter desempenho ideal?

Os profissionais muitas vezes confiam em heurísticas, como a suposição de que “mais agentes são melhores“, acreditando que adicionar agentes especializados melhorará consistentemente os resultados. Por exemplo, “Mais agentes é tudo que você precisa” relatou que o desempenho do LLM aumenta com a contagem de agentes, enquanto pesquisa de escala colaborativa descobriram que a colaboração multiagente “…muitas vezes supera cada indivíduo através do raciocínio coletivo.”

Em nosso novo artigo, “Rumo a uma ciência de escalonamento de sistemas de agentes“, desafiamos essa suposição. Por meio de uma avaliação controlada em larga escala de 180 configurações de agentes, derivamos os primeiros princípios de escalonamento quantitativo para sistemas de agentes, revelando que a abordagem de “mais agentes” muitas vezes atinge um teto e pode até degradar o desempenho se não estiver alinhada com as propriedades específicas da tarefa.