SkillsBench · SquadOS
Método e limitações
Resultados coletados, com notas por round e critérios publicados. Cada tarefa tem seu ranking; amostras e ambientes diferentes permanecem identificados.
Amostra e classificação
Cada linha representa modelo, ferramenta de execução e configuração de raciocínio. Só entra no ranking quem tem todos os rounds válidos e únicos previstos no manifesto, na mesma tarefa e bateria. Notas zero válidas são incluídas. Execuções inválidas, ausentes e não iniciadas ficam separadas. O conjunto não representa o SkillsBench integral.
Notas e evidências inconclusivas
O acerto é a média dos percentuais de critérios aprovados nos rounds válidos. Revisões de entrega, OCR, pesquisa e correspondência de áudio usam apenas evidências preservadas. Critérios inconclusivos formam uma faixa entre o mínimo comprovado e o máximo possível; ordenar pelo mínimo não resolve sobreposições entre faixas. A nota original e a recompensa binária são preservadas nos detalhes. Não calculamos IC95% com essas faixas.
Custos, tempo e cache
API estimada usa tarifas públicas congeladas durante a coleta, incluindo cache quando comprovado. Não representa necessariamente o valor pago numa assinatura nem a cobrança da rota Studio. A tabela mostra média de custo, mediana do tempo do agente e total de tokens dos rounds válidos. Custos incompletos ficam sem valor comparável; subtotais conhecidos de falhas não são tratados como total. HTTP200, timeout ou ausência de registros não comprovam consumo zero.
Ambientes e limites da comparação
A coleta atravessou revisões de ambiente e reparos, identificados por execução. Ter 3/3 rounds não significa que todas as execuções usaram o mesmo build. O histórico de uma execução por tarefa é exploratório; o piloto permanece arquivado. Não misturamos as baterias nem substituímos notas baixas por novas tentativas. Poucos rounds e tarefas específicas não permitem concluir superioridade geral de um modelo ou ferramenta.
Fonte e atualização
Esta publicação é uma versão congelada dos resultados coletados, não um teste ao vivo. O JSON público inclui configurações, notas, motivos, revisões e hashes dos resultados disponíveis. Logs internos e identificadores de sessão não são publicados. Testes de diagnóstico posteriores aos reparos não entram nas coortes históricas. Novos dados exigem nova exportação e publicação.