Claude Opus 4.5 SWE-bench: первый результат выше 80%
Результат Claude Opus 4.5 SWE-bench, о котором стало известно при выходе модели 24 ноября 2025 года, сделал ее первой моделью с оценкой выше 80% на SWE-bench Verified, авторитетном тесте по программированию. Anthropic назначила цену 5 и 25 долларов за миллион токенов (входные и выходные) и нацелила модель на код, агентов и работу с компьютером. Ранние клиенты сообщают, что те же задачи решаются с меньшим числом токенов и ошибок, а значит, готовая работа обходится дешевле.
Почему компании сдерживались с моделями Opus
Первым препятствием была цена. В комментариях, которые Anthropic опубликовала к запуску, один из клиентов раннего доступа, гендиректор Джефф Ван, сказал, что модели Opus всегда были «настоящим SOTA», но раньше были непомерно дорогими.
Вторым препятствием была память. Агентам нужно изучать кодовые базы и большие документы и помнить нужные детали, а длинные диалоги в приложениях Claude упирались в предел, когда заполнялось контекстное окно модели.
Что Anthropic выпустила 24 ноября 2025 года
Anthropic выпустила Claude Opus 4.5, последнюю модель серии 4.5 после Sonnet 4.5 в сентябре и Haiku 4.5 в октябре. Предыдущая модель Opus, Claude Opus 4.1, вышла в августе. Цена составила 5 и 25 долларов за миллион токенов, модель доступна в приложениях Anthropic, в API и на всех трех крупных облачных платформах. По данным CNBC, она стала моделью по умолчанию в тарифах Pro, Max и Enterprise.
Вместе с моделью Anthropic расширила два продукта, которые были в пилоте. Claude for Chrome стал доступен всем пользователям Max, а Claude for Excel пользователям Max, Team и Enterprise. Claude Code также появился в десктопном приложении.
Как модель справляется с долгой работой агентов
Opus 4.5 создана для задач агентов, где одна модель ведет, а другие выполняют. TechCrunch описывает схемы, в которых Opus выступает ведущим агентом и направляет группу субагентов на базе Haiku, а это зависит от рабочей памяти.
Anthropic изменила то, как модель управляет памятью на длинных контекстах. В приложениях Claude это дало платным пользователям «бесконечный чат»: когда чат доходит до предела контекстного окна, модель сжимает память, а не останавливается.
«Знать, какие детали стоит помнить, очень важно в дополнение к более длинному контекстному окну». Дайан На Пенн, руководитель продуктового управления исследований в Anthropic
Что показывают результат Claude Opus 4.5 SWE-bench и тесты клиентов
По бенчмаркам TechCrunch сообщил, что Opus 4.5 первая модель с результатом выше 80% на SWE-bench Verified, авторитетном тесте по программированию. CNBC написал, что она обошла Gemini 3 Pro от Google и GPT-5.1 от OpenAI на этом тесте. Anthropic заявляет, что модель лидирует в 7 из 8 языков программирования на SWE-bench Multilingual, на 10,6% превосходит Sonnet 4.5 на Aider Polyglot и зарабатывает на 29% больше на Vending-Bench.
Anthropic также дала модели домашнее задание для кандидатов на должность инженера по производительности. За лимит в 2 часа Opus 4.5 набрала больше баллов, чем любой кандидат-человек до нее.
Клиенты назвали собственные цифры, и каждая это заявление самого клиента. В комментарии о GitHub Copilot сказано, что ранние тесты вдвое сократили расход токенов. Другой клиент сообщил о сокращении токенов до 65% на длинных задачах по коду; еще один увидел снижение ошибок вызова инструментов и ошибок сборки или линтера на 50-75%. Клиент в области финансового моделирования сказал, что точность на его внутренних оценках выросла на 20%, а эффективность на 15%.
Что это меняет для команд разработки и аналитиков
Для бизнеса меняется стоимость сложной работы, которую делает модель. Несколько клиентов сказали, что Opus 4.5 решает те же задачи с меньшим числом токенов и шагов, и это снижает счет за задачу, а не только цену за токен. Anthropic называет сильными сторонами код, агентов и работу с компьютером и говорит, что модель заметно лучше работает с таблицами, слайдами и глубоким исследованием.
По данным CNBC, Anthropic видит основными пользователями профессиональных разработчиков и специалистов умственного труда: финансовых аналитиков, консультантов и бухгалтеров. Конкуренция плотная: OpenAI выпустила GPT 5.1 12 ноября, а Google выпустил Gemini 3 18 ноября.
Вопросы и ответы
Какой результат получила Claude Opus 4.5 на SWE-bench Verified?
TechCrunch сообщил, что Opus 4.5 первая модель с результатом выше 80% на SWE-bench Verified. CNBC написал, что она обошла Gemini 3 Pro и GPT-5.1 на том же тесте.
Сколько стоит Claude Opus 4.5?
Anthropic установила цену API: 5 и 25 долларов за миллион токенов. Разработчики получают доступ через Claude API, а также на всех трех крупных облачных платформах.
Для кого предназначена Claude Opus 4.5?
По данным CNBC, Anthropic считает идеальными пользователями профессиональных разработчиков и специалистов умственного труда: финансовых аналитиков, консультантов и бухгалтеров.
Взгляд MOZGII
Как бы мы это построили
Оценка на бенчмарке показывает, что модель умеет на чужих задачах. Для компании полезнее другой вопрос: сколько стоит одна готовая задача на ее собственной работе. Если бы мы внедряли такую модель, как Opus 4.5, в команду разработки, мы бы начали с набора реальных тикетов из бэклога команды, у каждого из которых есть принятое разработчиком исправление, и прогнали бы модель по ним до любого контакта с боевой системой.
Планирование и проверку мы бы отдали крупной модели, а узкие шаги более мелким, как у Anthropic, где Opus ведет субагентов Haiku. Каждое изменение проходило бы через существующие тесты команды и проверку человеком до слияния. Модель работала бы в копии кода без доступа к боевым системам и секретам.
Схема ломается на долгих тихих сбоях: агент идет по неверному пути, тратит токены и возвращает изменение, которое проходит тесты, но не попадает в замысел. Сжатие памяти помогает продолжить длинную сессию, но может потерять важную деталь, поэтому мы бы вели журнал того, что агент сохранил и что отбросил.
Одно число мы бы отслеживали: стоимость принятого изменения, то есть потраченные токены, деленные на число изменений, которые разработчик реально влил. Следующим шагом мы бы построили еженедельный отчет, сравнивающий эту стоимость у разных моделей на одних и тех же тикетах.
Источники
Откуда взяты факты этой новости.