基準在量什麼

很多題收成一個總分。數字大表示整體比較強。跟 LMArena 分開。

Artificial Analysis Intelligence Index v4.3.2

真人對打後的文字榜分數。跟 Arena-Hard、跟 Artificial Analysis 都不是同一件事。

LMArena 文字榜

模型卡自己引的 Artificial Analysis 總分。Ling-VL 這格是 v4.1.1 的 42，不是首頁那張 v4.3.2。

Artificial Analysis Intelligence Index v4.1.1

事實有沒有答對，以及會不會亂答。兩項分開。高分比較好。

AA-Omniscience Accuracy Factual accuracy、AA-Omniscience Non-Hallucination Non-hallucination rate

考試形式的選擇與作答。高分比較好。

AGIEval (EM)

模型對打的勝率分數。不是 LMArena 文字榜。高分比較好。

Arena-Hard-V2

很多種推理題放在一起。高分比較好。

BBEH (EM)、BigBench Extra Hard

比較難的語言推理題。高分比較好。

BBH (EM)

中文多科考試。高分比較好。

C-Eval、C-Eval (EM)、CEval(acc)

多科選擇題。高分代表答對比較多。

CMMLU(acc)、MMLU(acc)、MMMLU

前沿物理推理。高分比較好。

CritPt、CritPt Frontier physics reasoning

要一步步算的閱讀理解，分數是 F1。高分比較好。

DROP (F1)

研究所程度的科學題。Diamond 是比較難的那一組。高分比較好。

GPQA、GPQA (no tools)、GPQA (with tools)、GPQA Diamond、GPQA Diamond (AA)、GPQA Diamond (Pass@1)、GPQA Diamond Graduate-level science QA、GPQA-Diamond、GPQA-Diamond(avg@16)、GPQA:d、Scientific reasoning GPQA Diamond

多種語言的物理常識選擇。高分比較好。

Global PIQA

跨很多領域的難題。有沒有開工具、是不是只考文字，都是不同分數。高分比較好。

HLE、HLE (no tools)、HLE (Pass@1)、HLE (text)、HLE (with tools)、HLE Expert-level reasoning、HLE no tools、HLE Text (AA)、HLE w/ CoT、HLE w/ tool、HLE w/ Tools、HLE w/ tools、HLE w/ tools (Pass@1)、HLE with search、HLE-Full、Humanity's Last Exam、Humanity's Last Exam (without tools) Expert-level reasoning、Multidisciplinary reasoning HLE

句子接下去怎麼寫才合理。高分比較好。

HellaSwag (EM)

照指示的格式與限制做。高分代表比較常做到。

IFBench、IFBench (loose)、IFBench (prompt)、IFEval、IFEval (loose)、Instruction following IFBench、MAXIFE、MultiChallenge

多語知識題。高分比較好。

INCLUDE

比一般 MMLU 更難的多科選擇題。高分代表答對比較多。

MMLU Pro、MMLU-Pro、MMLU-Pro (EM)、MMLU-Pro(acc)、MMLU-ProX、MMLU-ProX (avg over langs)、MMLU-ProX lite (IBM)

訂正過的 MMLU 多科題。高分比較好。

MMLU-Redux

醫學圖文題。高分比較好。

MedXPertQA MM、MedXpertQA-MM

多語的長知識。高分比較好。

MultiLoKo (LLM-Judge)

多語題。高分比較好。

NOVA-63

多輪對話的挑戰題。高分比較好。

Scale AI Multi-Challenge

短事實問題，看會不會亂編。高分比較好。

SimpleQA-Verified (EM)

研究所程度的多科問答。高分比較好。

SuperGPQA、SuperGPQA (EM)

翻譯。高分比較好。

WMT24++、WMT24++ (en→xx)

數學競賽或應用題。高分代表算對比較多。不同年份是不同考卷。

AIME 2025、AIME 2026、AIME 2026 no tools、AIME24(avg@32)、AIME25、AIME25 (no tools)、AIME25(avg@32)、AIME26、GSM8K (EM)、HMMT 2025、HMMT Feb 2025、HMMT Feb 2026、HMMT Feb 2026 Competition mathematics、HMMT Feb 25、HMMT Feb 26、HMMT Feb25、HMMT Feb25 (no tools)、HMMT Feb25 (with tools)、HMMT Nov 25、IMOAnswerBench、MATH (EM)、MATH500(acc)、MathArena Apex (Pass@1)、MGSM (EM)、PolyMATH

寫程式解題。分數或等級越高，解掉的題越多，或對手段位越高。

AIDER、BigCodeBench (Pass@1)、CodeForces、Codeforces (Rating)、Codeforces ELO、Competitive coding LiveCodeBench v6、FullStackBench en、FullStackBench zh、HumanEval (Pass@1)、LiveCodeBench、LiveCodeBench (v5 2024-07↔2024-12)、LiveCodeBench v6、OJBench、SciCode、SciCode (subtask)、SciCode Scientific coding

在真實或模擬的程式庫裡改程式。高分代表完成的題比較多。Verified、Pro、多語是不同題組。

Agentic coding DeepSWE 1.1、Agentic coding SWE-bench Pro、DeepSWE、DeepSWE (v1.1)、DeepSWE 1.1、DeepSWE v1.1、DeepSWE v1.1 (Resolved)、FrontierSWE、MLS-Bench-Lite、Multilingual software engineering SWE-bench Multilingual、Multimodal software engineering SWE-MM、NL2Repo、NL2Repo-Bench、NL2Repo-Bench (Score)、PaperBench、ProgramBench、ProgramBench (Almost Solved)、ProgramBench (Almost@1)、QwenQoderBench、QwenReactBench、QwenSWEBench、Repo-level code generation NL2Repo-Bench、Software engineering QwenSWEBench、SWE Atlas - QnA、SWE Bench Multilingual、SWE Bench Pro、SWE Bench Verified、SWE-Bench (Codex)、SWE-Bench (OpenCode)、SWE-Bench (OpenHands)、SWE-Bench Multiligual、SWE-bench Multilingual、SWE-Bench Multilingual (OpenHands)、SWE-Bench Pro、SWE-bench Pro、SWE-Bench Verified、SWE-bench Verified、SWE-bench Verified Software engineering、SWE-Bench(acc)、SWE-Marathon、SWE-Marathon (v1.1)

把人話轉成 SQL。高分比較好。

BIRD Bench、BirdBench

廠商自己出的程式、資安或視覺題。高分比較好。

Kimi Code Bench 2.0、MiMo Code Bench、MiMo VisualCoding

在終端機裡完成任務。版本和操作方式不同，要分開看。高分比較好。

Agentic terminal coding Terminal Bench 2.1 (Terminus)、Terminal Bench、Terminal Bench (hard subset)、Terminal Bench 2、Terminal Bench 2.1、Terminal Bench 3.0、Terminal Bench 4.0、Terminal Bench Core 2.0、Terminal-Bench 2.0、Terminal-Bench 2.1、Terminal-Bench 2.1 (Claude Code)、Terminal-Bench 2.1 (Pass@1)、Terminal-Bench 2.1 (Terminus-2)、Terminal-Bench 2.1 Agentic terminal use、Terminal-Bench 3.0 (Pass@1)、Terminal-Bench 4.0 (Pass@1)、TerminalBench 2.1 (with terminus2)、TerminalBench(acc)

Android 畫面或程式任務。高分比較好。

AndroidBench

操作電腦、手機或瀏覽器畫面。高分代表完成的任務比較多。

AndroidWorld、Application recreation RecreationBench、Browser use WebArena-Verified、Computer use OSWorld 2.0、Computer use OSWorld-Verified、Mobile use AndroidWorld、OSWorld 2.0、OSWorld-Verified、ScreenSpot Pro、Visual web development Vision2Web

操作 SaaS。高分比較好。

SaaS-Bench

做一串辦公室或代理人任務。高分代表做完的比較多。同一格有兩個數就整格看。

AA-Briefcase (Elo)、Agent's Last Exam (Pass@1)、Agents' Last Exam、Agents' Last Exam (ALE-CLI)、Agents' Last Exam (Pass / Score)、Agents’ Last Exam、APEX-Agents、Automation-Bench (Pass@1)、AutomationBench、AutomationBench (Pass@1)、AutomationBench (v1.0.6)、AutomationBench v1.0.6、Claw-Eval Avg、Claw-Eval Pass^3、ClawEval、CoWorkBench、Finance Agent v2、Frontier agentic tasks Agents' Last Exam、JobBench、Long-horizon office work CoWorkBench、Multimodal tool use ClawEval-MM、OfficeQA Pro、Professional job tasks JobBench、QwenClawBench、SkillsBench、SkillsBench (with skills)、SkillsBench Avg5、SpreadsheetBench 2、WildClawBench

會不會正確呼叫工具或 MCP。高分代表叫對或做完。

BFCL (v4)、BFCL v4、BFCL-V4、MCP Atlas (Public)、MCP-Atlas、MCPMark、MCPMark-Verified、Real-world tool use Toolathlon Verified (Pass@1)、Tool Decathlon、Toolathlon Verified、Toolathlon Verified (Pass@1)、Toolathlon-Verified、VITA-Bench

上網找答案。高分代表找得比較準。各卡的上下文設定可能不同。

Browsecomp、BrowseComp、BrowseComp Web browsing、BrowseComp with Search、Browsecomp-zh、DeepSearch QA、DeepSearchQA (F1)、Seal-0、WideSearch

辦公產出的分數。有的記 Elo、有的記分數，只跟同一種寫法比。高分比較好。

GDPval、GDPval-AA 2.1、GDPval-AA v2、GDPVal-AA v2、GDPval-AA v2 (Elo)

要分好多步的問答。高分比較好。

Gaia2

多輪叫工具。場景有航空、零售、銀行、電信。高分代表做完的比較多。

Tau2 (average over 3)、Tau2-Airline(avg@8)、TAU2-Bench、Tau2-bench Telecom、Tau2-Retail(avg@8)、Tau2-Telecom(avg@8)、tau3-Banking Agentic tool use、TAU3-Bench、TauBench V2 Airline、TauBench V2 Average、TauBench V2 Retail、TauBench V2 Telecom、τ³-Banking、τ³-bench (AVG)、τ³-Telecom、𝛕3-Banking

長文裡還答不答得準。64K、128K、256K、1M 要分開看。高分比較好。

AA LCR、AA-LCR、AA-LCR Long-context reasoning、Beam128K、LCR Long-context reasoning、LongBench v2、LongBench-V2 (EM)、MMLongBench-Doc、MRCR v2 256K (8-needle)、MRCR v2 8 needle 128k (average)、RULER 128K、RULER 64K、RULER @ 1M、RULER @ 256k、RULER @ 512k

看圖、文件、圖表，或圖裡的數學。高分通常比較好。名字若寫 edit distance 或低分較好，則低分比較好。

AI2D_TEST、BabyVision、BabyVision w/ python、BabyVision w/ tools (Pass@1)、CC-OCR、Chartography w/ tools (Pass@1)、CharXiv (RQ)、Charxiv Reasoning、CharXiv(RQ)、CountBench、Document intelligence OmniDocBench 1.5、DocVQA (LLM-Judge)、DynaMath、Embodied intelligence ERQA、ERQA、General visual reasoning BabyVision、HallusionBench、MATH-Vision、MathVision、Mathvista(mini)、MMBench EN-DEV-v1.1、MMMU、MMMU Pro、MMMU-Pro、MMMU-Pro (EM)、MMStar、OCRBench、OmniDocBench、OmniDocBench 1.5 (average edit distance, lower is better)、OmniDocBench v1.5、OmniDocBench1.5、Real-world perception RealWorldQA、RealWorldQA、RefCOCO(avg)、RefCOCO-avg (Acc@0.5)、Scientific chart analysis CharXiv (RQ)、SimpleVQA、VideoMMMU、Visual math problem solving MathVision、VlmsAreBlind、We-Math、ZEROBench、ZeroBench (pass@5)、ZeroBench-main w/ tools (Pass@5)、ZEROBench_sub

看懂畫面。高分比較好。

CVBench (EM)

空間、開車或身體感知的視覺題。高分比較好，除非該列另寫低分較好。

EmbSpatialBench、Hypersim、LingoQA、Nuscene、ODInW13、RefSpatialBench、SUNRGBD

看影片作答。高分比較好。有字幕和沒字幕是不同考法。

Long video understanding LVBench、LVBench、MLVU、MMVU、MVBench、Video-MME (w. sub)、VideoMME (w sub.)、VideoMME (w/o sub.)

醫學圖片問答。高分比較好。

PMC-VQA、SLAKE

看圖回答或知覺題。高分比較好。

PerceptionBench、WorldVQA ForceAnswer

視覺推理，或指出圖裡的位置。一格若有兩種條件，整格一起看。

TIR-Bench、V*

安全或偏見。標了低分較好或 ↓ 的，低分比較好。拒絕有害請求的比例則是高分比較好。

BBQ、Siren AgentDojo Attack Success Rate (↓)、Siren AgentDojo Utility、StereoSet ICAT、StereoSet language model score、StereoSet stereotype score、StrongREJECT jailbreak rate、StrongREJECT metric、WMDP (Bio)、WMDP (Chem)、XSTest safe refusal、XSTest unsafe refusal

情境裡的隱私。Violation 低分比較好。Coverage 高分比較好。

CI Memories Coverage、CI Memories Violation (↓)

安全面向的總分。高分代表該面向比較好。Data & Infrastructure 在卡上被標成 Critical。

Content & Public Safety、Data & Infrastructure、Societal Alignment、Truthfulness & Reliability

資安題。高分代表通過比較多。時間限制不同的分數要分開。

CyberGym、CyberGym (Pass@1)、ExploitBench、ExploitGym、ExploitGym (2h / 6h)、ExploitGym (Pass@1)、MiMo Cyber Bench

化學與生物的知識題。高分代表答對比較多。卡上放在風險討論，不是能力名次。

HPCT、Lab Bench (ProtocolQA)、MBCT、VCT

資安修補或利用題。高分比較好。

SEC Bench Pro、SEC-Bench Pro (Pass@1)

很長的任務，或專家給的分數。高分比較好。

$OneMillion-Bench (expert score)

醫療、法律或金融的專業題。高分比較好。

CorpFin v2、Harvey Lab-AA、HealthBench、Legal Research Bench、PLawBench、PRBench-Finance、PRBench-Legal

長程規劃、產品文件或工作區任務。高分比較好。

DeepPlanning、PRDBench、WorkSpaceBench

Ornith 卡上的名稱。卡上沒寫題目內容。高分比較好。

Frontier-Bench v0.1

後訓練相關任務。高分比較好。

PostTrainBench

專業任務。高分比較好。

ProfBench

廠商自己的網頁、SVG 或代理人題。高分比較好。只跟同一欄比。

QwenSVGBench、QwenWebBench

研究任務的評分表。高分比較好。

ResearchRubrics