Newsletter Subscribe
Enter your email address below and subscribe to our newsletter
[forminator_form id="25163"]
Anthropic-ის Claude მოდელებმა SWE-bench-ის კოდირების რეიტინგებში პირველი ადგილები დაიკავეს
- 8 სექტემბრის მონაცემებით, Anthropic-ის Claude მოდელები SWE-bench-ის კოდირების ორივე მთავარ რეიტინგში პირველ ადგილს იკავებენ და უსწრებენ OpenAI-სა და Google-ის კონკურენტებს.
benchlm+1 - ქულები 2025 წლის დასაწყისში არსებული 49%-დან 96%-მდე გაიზარდა SWE-bench Verified-ზე, რომელიც ამოწმებს ხელოვნური ინტელექტის უნარს, დამოუკიდებლად გადაჭრას GitHub-ის რეალური პრობლემები.
anthropic+1 - შედეგები გამოქვეყნდა AI კოდირებაში ინვესტიციების ზრდის ფონზე: TechCrunch-ის ცნობით, Cognition-მა თავისი Devin კოდირების ასისტენტისთვის 48 მილიარდი დოლარის შეფასებით 2 მილიარდი დოლარი მოიზიდა.
techcrunch
2026 წლის სექტემბრის მდგომარეობით, Anthropic-ის Claude AI მოდელები SWE-bench-ის კოდირების რეიტინგის ყველა ძირითად ვერსიაში ლიდერობენ. Claude Opus 5-მა SWE-bench Verified-ზე 96%-ს მიაღწია, ხოლო Claude Fable 5.1-მა უფრო რთულ SWE-bench Pro-ზე 81.2% დააფიქსირა. ეს შედეგები ხაზს უსვამს Anthropic-ის მზარდ უპირატესობას AI-ზე დაფუძნებულ პროგრამულ ინჟინერიაში, მაშინ როცა OpenAI-სა და Google Alphabet Inc.-ის კონკურენტები სხვა მიმართულებებით ცდილობენ ჩამორჩენის შემცირებას.benchlm+2
დომინირება რეიტინგებში
პრინსტონის უნივერსიტეტის მკვლევრების მიერ შექმნილი SWE-bench ამოწმებს, შეუძლიათ თუ არა AI მოდელებს GitHub-ის რეალური პრობლემების გადაჭრა ისეთი პატჩების გენერირებით, რომლებიც გადის როგორც ახალ, ისე არსებულ ტესტებს. 500 პრობლემისგან შემდგარ SWE-bench Verified-ზე Claude Opus 5 ლიდერობს 96%-ით, მას მოსდევს Claude Mythos 5 (95.5%) და Claude Fable 5 (95%). SWE-bench Pro-ზე, რომელიც მოიცავს 1865 პრობლემას 41 რეპოზიტორიდან და ამოწმებს გრძელვადიან საინჟინრო ამოცანებს, Claude Fable 5.1 ლიდერობს 81.2%-ით.benchlm+4
პროგრესი შთამბეჭდავია. 2025 წლის დასაწყისში Anthropic-ის Claude 3.5 Sonnet-მა SWE-bench Verified-ზე 49% მიიღო. 2025 წლის ბოლოსთვის Claude Sonnet 4.5-მა 77.2%-ს მიაღწია. Claude Opus 4.5-მა ეს მაჩვენებელი 2026 წლის დასაწყისისთვის 80.9%-მდე გაზარდა, ხოლო ყოველი მომდევნო თაობა — Opus 4.7, Opus 4.8, Mythos და Opus 5 და Fable 5 ოჯახები — კიდევ უფრო აძლიერებდა ამ უპირატესობას.dev+5
კონკურენტული გარემო
Anthropic-ის დომინირება SWE-bench-ზე მიმდინარეობს AI კოდირების ინტენსიური რბოლის ფონზე. სტარტაპმა Cognition-მა, რომელიც Devin კოდირების ასისტენტის უკან დგას, 2 მილიარდი დოლარი მოიზიდა 48 მილიარდი დოლარის შეფასებით, ხოლო მისმა წლიურმა შემოსავალმა ოთხ თვეში 492 მილიონიდან 900 მილიონ დოლარამდე მოიმატა. Amazon Web Services Amazon.com, Inc. თავის Kiro კოდირების ხელსაწყოს მსოფლიოს 132 უნივერსიტეტის სტუდენტებს სთავაზობს. OpenAI-ის უახლესი ფლაგმანი GPT-5.6 Sol ზოგად რეიტინგებში Claude-ს გაუთანაბრდა, თუმცა ჩამორჩება აგენტურულ კოდირების ამოცანებში, სადაც Terminal-Bench 4.0-ზე 37.3% დააფიქსირა, მაშინ როცა Fable 5.1-ის მაჩვენებელი 55.8%-ია.techcrunch+3
კითხვები რეიტინგების სანდოობაზე
ყველა არ მიიჩნევს SWE-bench-ის ქულებს საბოლოო ჭეშმარიტებად. arXiv-ზე გამოქვეყნებულმა კვლევამ აჩვენა, რომ წამყვან მოდელებს შეუძლიათ შეცდომიანი ფაილების გზების 76%-იანი სიზუსტით იდენტიფიცირება მხოლოდ პრობლემის აღწერილობის საფუძველზე, რაც აჩენს კითხვებს იმის შესახებ, მოდელები ნამდვილად მსჯელობენ თუ ნაწილობრივ მონაცემთა შაბლონებს ეყრდნობიან. თავად Anthropic-მა ახალი მოდელებისთვის აქცენტი გადაიტანა უფრო გრძელვადიან აგენტურულ ამოცანებზე, როგორიცაა Terminal-Bench, სადაც Fable 5.1-მა სამეცნიერო კვლევით ამოცანებში წინამორბედის შედეგი ორჯერ გააუმჯობესა. კომპანიას Fable 5.1-ისთვის SWE-bench-ის ახალი მაჩვენებელი არ გამოუქვეყნებია, რაც იმაზე მიუთითებს, რომ თავად Anthropic-იც მიიჩნევს, რომ ეს რეიტინგი მაქსიმალურ ზღვარს უახლოვდება.arxiv+2
წყაროები (29)
- 1 SWE-bench Pro Leaderboard (September 2026): Claude Fable 5.1 ... benchlm.ai
- 2 SWE-bench Verified Leaderboard (September 2026): Top Scores benchlm.ai
- 3 Claude SWE-Bench Performance - Anthropic www.anthropic.com
- 4 Cognition hits $48B valuation, signaling investors believe AI coding is far from a winner-take-all market | TechCrunch techcrunch.com
- 5 SWE-bench Pro Leaderboard: Claude Fable 5.1 Takes #1 at 81.2% ... codingfleet.com
- 6 SWE-bench Scores and Leaderboard Explained (2026) dev.to
- 7 SWE-bench Verified Leaderboard 2026: Latest Coding Agent Scores leaderboard.steel.dev
- 8 Claude Opus 4.7 Benchmarks Explained - Vellum www.vellum.ai
- 9 From 80% to 93.9%: Why the Claude Mythos SWE-Bench ... www.mindstudio.ai
- 10 Claude Opus 4.8 on SWE-Bench Pro via AI Gateway www.truefoundry.com
- 11 Claude Sonnet 4.5 Tops SWE-Bench Verified, Extends Coding ... www.infoq.com
- 12 AWS Gives Students Free Year of Kiro AI Coding Tool www.techbuzz.ai
- 13 Claude Fable 5.1: Features, Benchmarks, and Pricing - DataCamp www.datacamp.com
- 14 Introducing Claude Fable 5.1 and Claude Mythos 5.1 - Anthropic www.anthropic.com
- 15 The SWE-Bench Illusion: When State-of-the-Art LLMs Remember ... arxiv.org
- 16 Claude Fable 5.1 Benchmarks: Scores and What They Mean emergent.sh
- 17 IBM Chief: AI Should Enhance, Not Replace, Workforce www.chosun.com
- 18 SWE-bench February 2026 leaderboard update simonwillison.net
- 19 SWE-Bench Verified Leaderboard - LLM Stats llm-stats.com
- 20 SWE-bench Lite Leaderboard 2026 - Compare AI Model Scores pricepertoken.com
- 21 LLM Coding Leaderboard - SWE-bench / LiveCodeBench / SWE ... www.datalearner.com
- 22 SWE-rebench Leaderboard (March, April and May 2026) - Reddit www.reddit.com
- 23 Claude Benchmarks (2026): Opus 5, Sonnet 5, and Fable 5 at 95 ... www.morphllm.com
- 24 SWE-bench Verified www.swebench.com
- 25 Anthropic: Claude Now Writes Over 80% of Its Production Code aitoolsrecap.com
- 26 Live blog: Code w/ Claude 2026 simonwillison.net
- 27 Anthropic Release Notes - September 2026 Latest Updates releasebot.io
- 28 Anthropic 2026: Every Claude Model, Agent & Tool linas.substack.com
- 29 Introducing Claude Opus 4.5 - Anthropic www.anthropic.com
