Claude Opus 4.5 SWE-bench supera 80% em tarefas de código
O resultado do Claude Opus 4.5 SWE-bench, divulgado quando a Anthropic lançou o modelo em 24 de novembro de 2025, o tornou o primeiro a passar de 80% no SWE-bench Verified, um benchmark de programação respeitado. A Anthropic cobra 5/25 dólares por milhão de tokens e voltou o modelo para programação, agentes e uso de computador. Para as empresas, os primeiros clientes relatam as mesmas tarefas feitas com menos tokens e menos erros, o que reduz o custo de cada trabalho concluído.
Por que as empresas evitavam os modelos Opus
O obstáculo era o preço. Em comentários que a Anthropic publicou com o lançamento, um cliente de acesso antecipado, Jeff Wang, um diretor-executivo, disse que os modelos Opus sempre foram "o verdadeiro estado da arte", mas tinham custo proibitivo no passado.
O segundo obstáculo era a memória. Agentes precisam explorar bases de código e documentos grandes e lembrar os detalhes certos, e as conversas longas nos apps do Claude batiam num limite quando enchiam a janela de contexto do modelo.
O que a Anthropic lançou em 24 de novembro de 2025
A Anthropic lançou o Claude Opus 4.5, o último modelo da série 4.5, depois do Sonnet 4.5 em setembro e do Haiku 4.5 em outubro. O Opus anterior, o Claude Opus 4.1, saiu em agosto. A Anthropic fixou o preço em 5/25 dólares por milhão de tokens e o disponibilizou nos seus apps, na API e nas três grandes plataformas de nuvem. A CNBC informou que é o modelo padrão dos planos Pro, Max e Enterprise.
Com o modelo, a Anthropic ampliou dois produtos que estavam em piloto. O Claude for Chrome passou a estar disponível para todos os usuários do Max, e o Claude for Excel para usuários do Max, Team e Enterprise. O Claude Code também chegou ao app para desktop.
Como o modelo lida com trabalho longo de agentes
O Opus 4.5 foi feito para tarefas de agentes em que um modelo lidera e outros seguem. O TechCrunch descreve arranjos em que o Opus atua como agente líder e coordena um grupo de subagentes baseados no Haiku, o que depende da memória de trabalho.
A Anthropic mudou a forma como o modelo gerencia a memória em contextos longos. Nos apps do Claude, isso permitiu um "chat sem fim" para usuários pagos: quando a conversa chega ao limite da janela de contexto, o modelo comprime a memória em vez de parar.
"Saber quais detalhes lembrar é muito importante, além de simplesmente ter uma janela de contexto maior." — Dianne Na Penn, líder de gestão de produto de pesquisa na Anthropic
O que mostram o resultado do Claude Opus 4.5 no SWE-bench e os testes de clientes
Nos benchmarks, o TechCrunch informou que o Opus 4.5 é o primeiro modelo a passar de 80% no SWE-bench Verified, um teste de programação respeitado. A CNBC disse que ele superou o Gemini 3 Pro, do Google, e o GPT-5.1, da OpenAI, nesse teste. A Anthropic afirma que lidera em 7 de 8 linguagens de programação no SWE-bench Multilingual, tem um salto de 10,6% sobre o Sonnet 4.5 no Aider Polyglot e ganha 29% mais no Vending-Bench.
A Anthropic também deu ao modelo a prova para casa que aplica a candidatos de engenharia de desempenho. Dentro do limite de 2 horas, o Opus 4.5 teve nota maior que a de qualquer candidato humano até hoje.
Os clientes relataram seus próprios números, e cada um é uma afirmação do cliente. Um comentário sobre o GitHub Copilot disse que os primeiros testes cortaram o uso de tokens pela metade. Outro cliente relatou até 65% menos tokens em tarefas longas de programação; outro viu reduções de 50% a 75% em erros de chamada de ferramentas e erros de build ou lint. Um cliente de modelagem financeira disse que a precisão nas avaliações internas melhorou 20% e a eficiência subiu 15%.
O que muda para times de software e analistas
Para uma empresa, a mudança está no custo do trabalho difícil feito por um modelo. Vários clientes disseram que o Opus 4.5 resolve as mesmas tarefas com menos tokens e menos passos, o que reduz a conta por tarefa além do preço por token. A Anthropic cita programação, agentes e uso de computador como pontos fortes e diz que ele é bem melhor em planilhas, slides e pesquisa aprofundada.
A CNBC informou que a Anthropic vê desenvolvedores de software profissionais e trabalhadores do conhecimento, como analistas financeiros, consultores e contadores, como os principais usuários. A concorrência é próxima: a OpenAI lançou o GPT 5.1 em 12 de novembro e o Google lançou o Gemini 3 em 18 de novembro.
Perguntas e respostas
Que nota o Claude Opus 4.5 teve no SWE-bench Verified?
O TechCrunch informou que o Opus 4.5 é o primeiro modelo a passar de 80% no SWE-bench Verified. A CNBC informou que ele superou o Gemini 3 Pro e o GPT-5.1 no mesmo teste.
Quanto custa o Claude Opus 4.5?
A Anthropic fixou o preço da API em 5/25 dólares por milhão de tokens. Os desenvolvedores acessam o modelo pela API do Claude, e ele também está nas três grandes plataformas de nuvem.
Para quem é o Claude Opus 4.5?
Segundo a CNBC, a Anthropic vê desenvolvedores de software profissionais e trabalhadores do conhecimento, como analistas financeiros, consultores e contadores, como seus usuários ideais.
A visão da MOZGII
Como nós construiríamos
Uma nota de benchmark diz a um time o que um modelo faz nas tarefas dos outros. A pergunta útil para uma empresa é quanto custa uma tarefa concluída no seu próprio trabalho. Se fôssemos colocar um modelo como o Opus 4.5 num time de software, começaríamos com um conjunto de tickets reais do backlog do próprio time, cada um com a correção que um desenvolvedor aceitou, e rodaríamos o modelo contra eles antes de ele tocar em qualquer coisa em produção.
Daríamos ao modelo maior o planejamento e a revisão e deixaríamos modelos menores nos passos estreitos, como a Anthropic descreve com o Opus liderando subagentes Haiku. Toda mudança passaria pelos testes que o time já tem e por revisão humana antes do merge. O modelo trabalharia numa cópia do código, sem acesso a sistemas de produção nem a segredos.
O plano quebraria em falhas longas e silenciosas: um agente que segue por um caminho errado, gasta tokens e devolve uma mudança que passa nos testes mas erra a intenção. A compressão de memória ajuda uma sessão longa a continuar, mas pode perder um detalhe que importava, então registraríamos o que o agente guardou e o que descartou.
O número que acompanharíamos é o custo por mudança aceita: tokens gastos divididos pelas mudanças que um desenvolvedor de fato integrou. Depois, montaríamos um relatório semanal que compara esse custo entre modelos nos mesmos tickets.
Fontes
De onde vêm os fatos desta matéria.