TheoPhysEval उन सवालों से बना है जिन्हें कार्यरत भौतिकविदों ने छापा नहीं था, ठीक इसलिए कि कोई मॉडल उन्हें पहले से न देख चुका हो। सबसे अच्छे एजेंट ने सिर्फ़ एक ग़लत किया, औसतन लगभग 2.33 डॉलर प्रति सवाल की लागत पर।
एआई बेंचमार्क
LM Arena, SWE-bench, ARC-AGI, GPQA और अन्य बेंचमार्क के स्वतंत्र तथा कंपनी-घोषित परिणाम, हर स्कोर के साथ उसका स्रोत और तिथि दर्ज की जाती है।
बेंचमार्क
LM Arena LMArena 0 स्कोर · अंतिम जाँच: 2 सितंबर 2026 SWE-bench Verified OpenAI and the SWE-bench team 0 स्कोर · अंतिम जाँच: 2 सितंबर 2026 ARC-AGI ARC Prize Foundation 0 स्कोर · अंतिम जाँच: 2 सितंबर 2026 GPQA Diamond New York University and collaborators 0 स्कोर · अंतिम जाँच: 2 सितंबर 2026 LiveBench Abacus.AI, NYU and collaborators 0 स्कोर · अंतिम जाँच: 2 सितंबर 2026 MMLU-Pro TIGER-Lab 0 स्कोर · अंतिम जाँच: 2 सितंबर 2026 Artificial Analysis Intelligence Index Artificial Analysis 0 स्कोर · अंतिम जाँच: 5 सितंबर 2026 EEBench atopile 0 स्कोर · अंतिम जाँच: 5 सितंबर 2026 Code Arena: WebDev Arena.ai 0 स्कोर · अंतिम जाँच: 7 सितंबर 2026 Real-SWE Specific Labs 0 स्कोर · अंतिम जाँच: 13 सितंबर 2026 ExplorationBench Tencent Hunyuan, Fudan University and Tsinghua University 0 स्कोर · अंतिम जाँच: 1 अक्टूबर 2026 APEX-Accounting Mercor, with Ramp 0 स्कोर · अंतिम जाँच: 2 अक्टूबर 2026 UltraText Bench Deyuan Liu and colleagues 0 स्कोर · अंतिम जाँच: 8 अक्टूबर 2026 Arena Alignment Index Arena 0 स्कोर · अंतिम जाँच: 8 अक्टूबर 2026 InnovationEval Epoch AI 0 स्कोर · अंतिम जाँच: 11 अक्टूबर 2026 ProgramDistill Microsoft Research 0 स्कोर · अंतिम जाँच: 19 सितंबर 2026 DrivingBench DrivingBench 0 स्कोर · अंतिम जाँच: 23 सितंबर 2026 MentalHealthBench OpenAI 0 स्कोर · अंतिम जाँच: 23 सितंबर 2026 VoiceArena Diarization-Bench VoiceArena 0 स्कोर · अंतिम जाँच: 27 सितंबर 2026 Furniture Assembly Benchmark Epoch AI 0 स्कोर · अंतिम जाँच: 27 सितंबर 2026 ARC-AGI-3 ARC Prize Foundation 0 स्कोर · अंतिम जाँच: 11 अक्टूबर 2026 Vibe Code Bench Vals AI 4 स्कोर · अंतिम जाँच: 9 अक्टूबर 2026 TheoPhysEval A. Ramesh Chandra and 36 co-authors 0 स्कोर · अंतिम जाँच: 15 अक्टूबर 2026
ताज़ा ख़बरें
सभी ख़बरें
एपॉक एआई के नए इनोवेशनईवल ने दो अग्रणी मॉडलों से एक ऐसी प्रशिक्षण विधि फिर से खोजने को कहा जो उन्होंने कभी देखी नहीं थी। कोई भी करीब नहीं पहुँचा, और दोनों ने ऐसे नतीजे लिख दिए जो उनकी विधियों ने नहीं दिए थे।
एक जमे हुए Claude Opus 5 ने ARC-AGI-3 के सभी सार्वजनिक खेल इंसान की 44 प्रतिशत चालों में पूरे किए
सूची में अगले सिस्टम से अंतर सिर्फ़ एक अंक का है। जो आँकड़ा असल में बदला वह चालों की गिनती है: 7,518, जबकि इंसानी आधार 17,135 चालों का था।
अरीना ने 72,509 वास्तविक एजेंट सत्रों पर बना एक सूचकांक उसी दिन प्रकाशित किया जिस दिन उसने 20 करोड़ डॉलर की राउंड की घोषणा की। पहले पाँच स्थान ओपनएआई के हैं।
इस सप्ताह प्रकाशित दो आंकड़े उन्हीं मॉडलों का वर्णन करते हैं। आप कौन सा उद्धृत करते हैं, यह पूरी तरह इस पर निर्भर है कि लेखाकार के काम का कितना हिस्सा आप बाहर छोड़ने को तैयार हैं।
आर्टिफ़िशियल एनालिसिस ने अपने सूचकांक का गुप्त हिस्सा दोगुना किया ताकि लैब उसे साध न सकें
संस्करण 4.2 में एजेंट आधारित ज्ञान-कार्य की एक परख और 4,592 पन्नों का दस्तावेज़ी सेट जुड़ा, और वह परख हटी जिसे मेंटेनर चुक गई मानता है।