Análise aprofundada do DS-STAR

Em seguida, conduzimos estudos de ablação para verificar a eficácia dos componentes individuais do DS-STAR e analisar o impacto do número de rodadas de refinamento, especificamente medindo as iterações necessárias para gerar um plano suficiente.

Analisador de arquivos de dados: Este agente é essencial para alto desempenho. Sem as descrições que gera (Variante 1), a precisão do DS-STAR em tarefas difíceis dentro do benchmark DABStep caiu drasticamente para 26,98%, sublinhando a importância de um contexto de dados rico para um planeamento e implementação eficazes.

Roteador: a capacidade do agente roteador de determinar se uma nova etapa é necessária ou de corrigir uma etapa incorreta é vital. Quando o removemos (Variante 2), o DS-STAR apenas adicionou novas etapas sequencialmente, levando a um pior desempenho em tarefas fáceis e difíceis. Isto demonstrou que é mais eficaz corrigir erros num plano do que continuar a adicionar passos potencialmente falhos.

Generalização em LLMs: Também testamos a adaptabilidade do DS-STAR usando GPT-5 como modelo básico. Isto produziu resultados promissores no benchmark DABStep, indicando a generalização da estrutura. Curiosamente, o DS-STAR com GPT-5 teve melhor desempenho em tarefas fáceis, enquanto o Gêmeos-2.5-Pro versão teve melhor desempenho em tarefas difíceis.