Claude Opus 4.5 SWE-bench स्कोर 80% के पार
Claude Opus 4.5 SWE-bench नतीजा, जो Anthropic के 24 नवंबर 2025 को मॉडल जारी करने पर सामने आया, उसे SWE-bench Verified पर 80% से ऊपर स्कोर करने वाला पहला मॉडल बनाता है। SWE-bench Verified कोडिंग का एक भरोसेमंद बेंचमार्क है। Anthropic ने इसकी कीमत $5/$25 प्रति मिलियन टोकन रखी और इसे कोडिंग, एजेंट्स और कंप्यूटर इस्तेमाल के लिए तैयार किया। बिज़नेस के लिए शुरुआती ग्राहक बताते हैं कि वही काम कम टोकन और कम गलतियों में होते हैं, जिससे हर पूरे हुए काम की लागत घटती है।
कंपनियाँ Opus मॉडल से क्यों हिचकती थीं
रुकावट कीमत थी। लॉन्च के साथ Anthropic ने जो टिप्पणियाँ जारी कीं, उनमें एक अर्ली-एक्सेस ग्राहक, चीफ़ एग्ज़ीक्यूटिव Jeff Wang, ने कहा कि Opus मॉडल हमेशा "असली SOTA" रहे हैं, पर पहले उनकी लागत बहुत ज़्यादा थी।
दूसरी रुकावट मेमोरी थी। एजेंट्स को कोड बेस और बड़े दस्तावेज़ खंगालने पड़ते हैं और सही ब्योरे याद रखने पड़ते हैं, और Claude ऐप्स में लंबी बातचीत मॉडल की कॉन्टेक्स्ट विंडो भर जाने पर अटक जाती थी।
Anthropic ने 24 नवंबर 2025 को क्या जारी किया
Anthropic ने Claude Opus 4.5 जारी किया, जो उसकी 4.5 सीरीज़ का आखिरी मॉडल है। इससे पहले सितंबर में Sonnet 4.5 और अक्टूबर में Haiku 4.5 आए थे। पिछला Opus मॉडल, Claude Opus 4.1, अगस्त में आया था। Anthropic ने इसकी कीमत $5/$25 प्रति मिलियन टोकन रखी और इसे अपने ऐप्स, API और तीनों बड़े क्लाउड प्लेटफ़ॉर्म पर उपलब्ध कराया। CNBC के अनुसार यह Pro, Max और Enterprise प्लान के लिए डिफ़ॉल्ट मॉडल है।
मॉडल के साथ Anthropic ने पायलट में चल रहे दो प्रोडक्ट का दायरा बढ़ाया। Claude for Chrome सभी Max यूज़र्स को और Claude for Excel Max, Team और Enterprise यूज़र्स को मिला। Claude Code भी डेस्कटॉप ऐप में आ गया।
मॉडल लंबे एजेंट कामों को कैसे संभालता है
Opus 4.5 ऐसे एजेंट कामों के लिए बना है जिनमें एक मॉडल अगुवाई करता है और बाकी उसका अनुसरण करते हैं। TechCrunch ऐसे सेटअप बताता है जिनमें Opus लीड एजेंट बनकर Haiku से चलने वाले सब-एजेंट्स के समूह को निर्देश देता है, और यह वर्किंग मेमोरी पर निर्भर करता है।
Anthropic ने बदला कि मॉडल लंबे कॉन्टेक्स्ट में मेमोरी कैसे संभालता है। Claude ऐप्स में इससे पेड यूज़र्स के लिए "एंडलेस चैट" संभव हुई: जब चैट कॉन्टेक्स्ट विंडो तक पहुँचती है, मॉडल रुकने के बजाय अपनी मेमोरी को कंप्रेस कर देता है।
"सिर्फ़ लंबी कॉन्टेक्स्ट विंडो होना काफ़ी नहीं, याद रखने लायक सही ब्योरे जानना भी उतना ही ज़रूरी है।" — Dianne Na Penn, Anthropic में रिसर्च की प्रोडक्ट मैनेजमेंट हेड
Claude Opus 4.5 SWE-bench नतीजा और ग्राहकों के टेस्ट क्या दिखाते हैं
बेंचमार्क पर TechCrunch के अनुसार Opus 4.5 SWE-bench Verified पर 80% से ऊपर स्कोर करने वाला पहला मॉडल है, जो कोडिंग का एक भरोसेमंद टेस्ट है। CNBC ने कहा कि इसने इस टेस्ट पर Google के Gemini 3 Pro और OpenAI के GPT-5.1 को पीछे छोड़ा। Anthropic का दावा है कि SWE-bench Multilingual की 8 में से 7 प्रोग्रामिंग भाषाओं में वह आगे है, Aider Polyglot पर Sonnet 4.5 से 10.6% की छलांग दिखाता है और Vending-Bench पर 29% ज़्यादा कमाता है।
Anthropic ने मॉडल को परफ़ॉर्मेंस इंजीनियरिंग उम्मीदवारों का अपना टेक-होम एग्ज़ाम भी दिया। 2 घंटे की सीमा में Opus 4.5 ने अब तक के किसी भी इंसानी उम्मीदवार से ज़्यादा स्कोर किया।
ग्राहकों ने अपने आँकड़े बताए, और हर आँकड़ा उसी ग्राहक का दावा है। GitHub Copilot के बारे में एक टिप्पणी में कहा गया कि शुरुआती टेस्ट में टोकन इस्तेमाल आधा रह गया। एक और ग्राहक ने लंबे कोडिंग कामों में 65% तक कम टोकन बताए; एक अन्य ने टूल कॉलिंग की गलतियों और बिल्ड या लिंट गलतियों में 50% से 75% की कमी देखी। एक फ़ाइनेंशियल मॉडलिंग ग्राहक ने कहा कि उसके आंतरिक मूल्यांकन में सटीकता 20% सुधरी और दक्षता 15% बढ़ी।
सॉफ़्टवेयर टीमों और विश्लेषकों के लिए क्या बदलता है
बिज़नेस के लिए बदलाव है मॉडल से कराए गए कठिन काम की लागत। कई ग्राहकों ने कहा कि Opus 4.5 वही काम कम टोकन और कम चरणों में हल करता है, जिससे प्रति टोकन कीमत के साथ प्रति काम का बिल भी घटता है। Anthropic कोडिंग, एजेंट्स और कंप्यूटर इस्तेमाल को अपनी ताकत बताता है, और कहता है कि स्प्रेडशीट, स्लाइड और डीप रिसर्च में वह काफ़ी बेहतर है।
CNBC के अनुसार Anthropic प्रोफ़ेशनल सॉफ़्टवेयर डेवलपर्स और फ़ाइनेंशियल एनालिस्ट, कंसल्टेंट और अकाउंटेंट जैसे नॉलेज वर्कर्स को मुख्य यूज़र मानता है। मुकाबला कड़ा है: OpenAI ने GPT 5.1 12 नवंबर को और Google ने Gemini 3 18 नवंबर को जारी किया।
सवाल और जवाब
Claude Opus 4.5 को SWE-bench Verified पर कितना स्कोर मिला?
TechCrunch के अनुसार Opus 4.5 SWE-bench Verified पर 80% से ऊपर स्कोर करने वाला पहला मॉडल है। CNBC के अनुसार उसने उसी टेस्ट पर Gemini 3 Pro और GPT-5.1 को पीछे छोड़ा।
Claude Opus 4.5 की कीमत कितनी है?
Anthropic ने API कीमत $5/$25 प्रति मिलियन टोकन रखी है। डेवलपर्स इसे Claude API से इस्तेमाल करते हैं, और यह तीनों बड़े क्लाउड प्लेटफ़ॉर्म पर भी उपलब्ध है।
Claude Opus 4.5 किसके लिए है?
CNBC के मुताबिक Anthropic प्रोफ़ेशनल सॉफ़्टवेयर डेवलपर्स और फ़ाइनेंशियल एनालिस्ट, कंसल्टेंट और अकाउंटेंट जैसे नॉलेज वर्कर्स को अपना आदर्श यूज़र मानता है।
MOZGII की राय
हम इसे कैसे बनाते
बेंचमार्क स्कोर बताता है कि मॉडल किसी और के कामों पर क्या कर सकता है। कंपनी के लिए काम का सवाल है कि उसके अपने काम पर एक पूरा हुआ टास्क कितने में पड़ता है। अगर हम Opus 4.5 जैसा मॉडल किसी सॉफ़्टवेयर टीम में लगा रहे होते, तो टीम के अपने बैकलॉग से असली टिकट चुनकर शुरू करते, हर टिकट के साथ वह फ़िक्स जिसे डेवलपर ने मंज़ूर किया था, और लाइव कुछ छूने से पहले मॉडल को उन पर चलाते।
हम बड़े मॉडल को प्लानिंग और रिव्यू देते और छोटे मॉडलों से संकरे चरण करवाते, जैसा Anthropic Opus के Haiku सब-एजेंट्स की अगुवाई में बताता है। हर बदलाव टीम के मौजूदा टेस्ट और मर्ज से पहले इंसानी रिव्यू से गुज़रता। मॉडल कोड की एक कॉपी में काम करता, प्रोडक्शन सिस्टम या सीक्रेट्स तक उसकी पहुँच नहीं होती।
यह लंबी, चुपचाप होने वाली नाकामियों पर टूटेगा: जो एजेंट गलत रास्ते पर चलता रहता है, टोकन खर्च करता है और ऐसा बदलाव लौटाता है जो टेस्ट पास करता है पर मकसद चूक जाता है। मेमोरी कंप्रेशन लंबे सेशन को चलाए रखने में मदद करता है, पर वह कोई अहम ब्योरा गिरा सकता है, इसलिए हम लॉग करते कि एजेंट ने क्या रखा और क्या छोड़ा।
हम एक ही संख्या पर नज़र रखते: स्वीकार किए गए बदलाव की लागत, यानी खर्च हुए टोकन को डेवलपर द्वारा असल में मर्ज किए गए बदलावों से भाग देने पर। अगला कदम होता एक साप्ताहिक रिपोर्ट, जो उन्हीं टिकटों पर अलग-अलग मॉडलों की यह लागत तुलना करे।
स्रोत
इस खबर के तथ्य इन स्रोतों से लिए गए हैं।