Рейтинг Category Score V3
LMSpeed Лучшие модели по знаниям
Сравните широкие и профессиональные знания, фактическую точность, поиск и работу с открытыми материалами по всем свидетельствам активного запуска.
Методология 3.0Методология
Текущий вывод
Сейчас ни одна модель не соответствует правилам формального рейтинга. В таблице есть Estimated моделей 7 и Provisional моделей 93. Это полезные сигналы, но не формальные места.
Доступные данные рейтинга
- Показано моделей
- 100
- Моделей с формальным рангом
- 0
- Столбцов бенчмарков
- 10
- Измерений со свидетельствами
- 3/4
Как читать полосы бенчмарков
Каждая полоса сравнивает модели только внутри одного столбца бенчмарка. Длина рассчитана относительно показанных моделей, не является Category Score и несопоставима между столбцами.
| Место | Модель | Оценка LMSpeed | Широкие знания | Профессиональные знания | Фактологичность | Статус | Покрытие | Обновлено | |||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| AA-Omniscience IndexМоделей: undefined | BenchLM Knowledge scoreМоделей: undefined | Artificial Analysis Intelligence IndexМоделей: undefined | MMLU-ReduxМоделей: undefined | C-EvalМоделей: undefined | MMLUМоделей: undefined | SuperGPQAМоделей: undefined | HealthBench HardМоделей: undefined | MedXpertQA (Text)Моделей: undefined | SimpleQAМоделей: undefined | ||||||
| Estimated-модели — без места7 | |||||||||||||||
| — | Claude Opus 4.5Anthropic | 57.6±11.6 | — | — | — | 96.6 | 92.2 | — | 70.6 | — | — | — | Estimated | Измерения: undefined/4 · семейств: undefined | 28 авг. 2026 г. |
| — | Qwen3.7 MaxQwen | 55.8±12.2 | — | — | — | 95.0 | — | — | 73.6 | — | — | — | Estimated | Измерения: undefined/4 · семейств: undefined | 28 авг. 2026 г. |
| — | Qwen3.5 | 53.1±11.6 | — | — | — | 94.9 | 93.0 | — | 70.4 | — | — | — | Estimated | Измерения: undefined/4 · семейств: undefined | 28 авг. 2026 г. |
| — | Qwen3.6 PlusQwen | 52±11.6 | — | — | — | 94.5 | 93.3 | — | 71.6 | — | — | — | Estimated | Измерения: undefined/4 · семейств: undefined | 28 авг. 2026 г. |
| — | Qwen3.7 PlusQwen | 48.6±12.2 | — | — | — | 94.5 | — | — | 71.4 | — | — | — | Estimated | Измерения: undefined/4 · семейств: undefined | 28 авг. 2026 г. |
| — | Qwen3.6 35B A3BQwen | 39.1±12.2 | — | — | — | — | 90.0 | — | 64.7 | — | — | — | Estimated | Измерения: undefined/4 · семейств: undefined | 28 авг. 2026 г. |
| — | Qwen3.6 27BQwen | 37.3±11.6 | — | — | — | 93.5 | 91.4 | — | 66.0 | — | — | — | Estimated | Измерения: undefined/4 · семейств: undefined | 28 авг. 2026 г. |
| Provisional-модели — без места93 | |||||||||||||||
| — | Claude Sonnet 4.6Anthropic | 70.6±16.3 | — | — | — | — | — | — | 95.0 | — | — | — | Provisional | Измерения: undefined/4 · семейств: undefined | 28 авг. 2026 г. |
| — | Claude Opus 5Anthropic | 68.5±14.0 | 37.1 | 97.0 | — | — | — | — | — | — | — | — | Provisional | Измерения: undefined/4 · семейств: undefined | 28 авг. 2026 г. |
| — | Muse Spark 1.1Meta | 65.6±14.0 | 28.1 | 92.8 | — | — | — | — | — | — | — | — | Provisional | Измерения: undefined/4 · семейств: undefined | 28 авг. 2026 г. |
| — | Claude Opus 4.8Anthropic | 63.8±14.0 | 28.8 | 86.8 | — | — | — | — | — | — | — | — | Provisional | Измерения: undefined/4 · семейств: undefined | 28 авг. 2026 г. |
| — | O1OpenAI | 62.5±17.4 | — | — | — | — | — | 91.8 | — | — | — | — | Provisional | Измерения: undefined/4 · семейств: undefined | 28 авг. 2026 г. |
| — | GPT-5.4 ProOpenAI | 62.2±16.1 | — | 88.0 | — | — | — | — | — | — | — | — | Provisional | Измерения: undefined/4 · семейств: undefined | 28 авг. 2026 г. |
| — | Claude Opus 4.7 MaxAnthropic | 61.8±14.0 | 27.3 | 81.8 | — | — | — | — | — | — | — | — | Provisional | Измерения: undefined/4 · семейств: undefined | 28 авг. 2026 г. |
| — | Kimi K3MoonshotAI | 61.2±14.0 | 19.7 | 83.8 | — | — | — | — | — | — | — | — | Provisional | Измерения: undefined/4 · семейств: undefined | 28 авг. 2026 г. |
| — | GPT-5.5 ProOpenAI | 61±16.1 | — | 85.5 | — | — | — | — | — | — | — | — | Provisional | Измерения: undefined/4 · семейств: undefined | 28 авг. 2026 г. |
| — | Claude Sonnet 5Anthropic | 60.9±14.0 | 16.5 | 84.6 | — | — | — | — | — | — | — | — | Provisional | Измерения: undefined/4 · семейств: undefined | 28 авг. 2026 г. |
| — | Claude Fable 5Anthropic | 60.5±14.0 | 43.3 | 69.4 | — | — | — | — | — | — | — | — | Provisional | Измерения: undefined/4 · семейств: undefined | 28 авг. 2026 г. |
| — | O3 ProOpenAI | 60.1±16.0 | — | — | 33.3 | — | — | — | — | — | — | — | Provisional | Измерения: undefined/4 · семейств: undefined | 28 авг. 2026 г. |
| — | GPT-5.4OpenAI | 59.9±15.1 | — | — | — | — | — | — | — | 40.1 | 59.6 | — | Provisional | Измерения: undefined/4 · семейств: undefined | 28 авг. 2026 г. |
| — | GPT-5.5OpenAI | 59.3±14.0 | 20.5 | 77.7 | — | — | — | — | — | — | — | — | Provisional | Измерения: undefined/4 · семейств: undefined | 28 авг. 2026 г. |
| — | Claude Opus 4.1Anthropic | 59±16.0 | — | — | 28.8 | — | — | — | — | — | — | — | Provisional | Измерения: undefined/4 · семейств: undefined | 28 авг. 2026 г. |
| — | Grok 4.6SpaceXAI | 58.6±14.0 | 30.5 | 70.5 | — | — | — | — | — | — | — | — | Provisional | Измерения: undefined/4 · семейств: undefined | 28 авг. 2026 г. |
| — | DeepSeek V4 Pro 0813DeepSeek | 58.4±18.0 | — | — | — | — | — | — | — | — | — | 57.9 | Provisional | Измерения: undefined/4 · семейств: undefined | 28 авг. 2026 г. |
| — | Grok 4.5SpaceXAI | 58±14.0 | 25.3 | 71.1 | — | — | — | — | — | — | — | — | Provisional | Измерения: undefined/4 · семейств: undefined | 28 авг. 2026 г. |
| — | Gemini 3.1 ProGoogle | 57.8±15.1 | — | — | — | — | — | — | — | 20.6 | 71.5 | — | Provisional | Измерения: undefined/4 · семейств: undefined | 28 авг. 2026 г. |
| — | GLM-5.2Z.ai | 57.8±14.0 | 4.4 | 81.2 | — | — | — | — | — | — | — | — | Provisional | Измерения: undefined/4 · семейств: undefined | 28 авг. 2026 г. |
| — | GPT-5.2OpenAI | 57.7±14.0 | -0.9 | 83.7 | — | — | — | — | — | — | — | — | Provisional | Измерения: undefined/4 · семейств: undefined | 28 авг. 2026 г. |
| — | Gemini 3.7 FlashGoogle | 57.5±14.0 | 26.5 | 69.0 | — | — | — | — | — | — | — | — | Provisional | Измерения: undefined/4 · семейств: undefined | 28 авг. 2026 г. |
| — | Gemini 3.6 FlashGoogle | 57.5±14.0 | 22.1 | 71.2 | — | — | — | — | — | — | — | — | Provisional | Измерения: undefined/4 · семейств: undefined | 28 авг. 2026 г. |
| — | GPT-5.6 SolOpenAI | 57.2±16.7 | — | — | — | — | — | — | — | 33.1 | — | — | Provisional | Измерения: undefined/4 · семейств: undefined | 28 авг. 2026 г. |
| — | GPT-5.6 TerraOpenAI | 57±16.7 | — | — | — | — | — | — | — | 32.7 | — | — | Provisional | Измерения: undefined/4 · семейств: undefined | 28 авг. 2026 г. |
| — | GPT-4.1OpenAI | 57±17.4 | — | — | — | — | — | 90.2 | — | — | — | — | Provisional | Измерения: undefined/4 · семейств: undefined | 28 авг. 2026 г. |
| — | O1 ProOpenAI | 56.5±16.0 | — | — | 19.1 | — | — | — | — | — | — | — | Provisional | Измерения: undefined/4 · семейств: undefined | 28 авг. 2026 г. |
| — | GPT-5.6 LunaOpenAI | 56.5±16.7 | — | — | — | — | — | — | — | 32.0 | — | — | Provisional | Измерения: undefined/4 · семейств: undefined | 28 авг. 2026 г. |
| — | Trinity Large ThinkingArcee AI | 56.4±16.0 | — | — | 18.7 | — | — | — | — | — | — | — | Provisional | Измерения: undefined/4 · семейств: undefined | 28 авг. 2026 г. |
| — | Gemini 3 ProGoogle | 56.1±14.0 | 15.3 | 70.7 | — | — | — | — | — | — | — | — | Provisional | Измерения: undefined/4 · семейств: undefined | 28 авг. 2026 г. |
| — | Muse Spark 1.2Meta | 55.7±14.0 | 27.2 | 63.2 | — | — | — | — | — | — | — | — | Provisional | Измерения: undefined/4 · семейств: undefined | 28 авг. 2026 г. |
| — | gpt-oss-120bOpenAI | 55.4±14.0 | — | 64.0 | 24.1 | — | — | — | — | — | — | — | Provisional | Измерения: undefined/4 · семейств: undefined | 28 авг. 2026 г. |
| — | GLM-5.1Z.ai | 55.4±14.0 | 0.9 | 75.7 | — | — | — | — | — | — | — | — | Provisional | Измерения: undefined/4 · семейств: undefined | 28 авг. 2026 г. |
| — | Qwen3.6 Max PreviewQwen | 55.1±16.3 | — | — | — | — | — | — | 73.9 | — | — | — | Provisional | Измерения: undefined/4 · семейств: undefined | 28 авг. 2026 г. |
| — | Claude 3 OpusAnthropic | 54.7±16.0 | — | — | 11.8 | — | — | — | — | — | — | — | Provisional | Измерения: undefined/4 · семейств: undefined | 28 авг. 2026 г. |
| — | DeepSeek R1 Distill QwenDeepSeek | 54.4±16.0 | — | — | 11.0 | — | — | — | — | — | — | — | Provisional | Измерения: undefined/4 · семейств: undefined | 28 авг. 2026 г. |
| — | GPT-5.3 CodexOpenAI | 54.4±16.0 | 10.9 | — | — | — | — | — | — | — | — | — | Provisional | Измерения: undefined/4 · семейств: undefined | 28 авг. 2026 г. |
| — | Claude Sonnet 4.5Anthropic | 54.4±16.1 | — | 72.2 | — | — | — | — | — | — | — | — | Provisional | Измерения: undefined/4 · семейств: undefined | 28 авг. 2026 г. |
| — | Claude Opus 4.7Anthropic | 54.3±14.0 | 14.8 | 65.5 | — | — | — | — | — | — | — | — | Provisional | Измерения: undefined/4 · семейств: undefined | 28 авг. 2026 г. |
| — | Gemini 1.5 ProGoogle | 54.2±16.0 | — | — | 9.8 | — | — | — | — | — | — | — | Provisional | Измерения: undefined/4 · семейств: undefined | 28 авг. 2026 г. |
| — | MiMo-V2.5-ProXiaomi | 54.1±14.0 | 3.3 | 70.7 | — | — | — | — | — | — | — | — | Provisional | Измерения: undefined/4 · семейств: undefined | 28 авг. 2026 г. |
| — | Claude Opus 4.6Anthropic | 53.7±13.7 | — | — | — | — | — | — | 95.0 | 14.8 | 52.1 | — | Provisional | Измерения: undefined/4 · семейств: undefined | 28 авг. 2026 г. |
| — | Gemini 3.5 FlashGoogle | 53.7±14.0 | 21.2 | 60.4 | — | — | — | — | — | — | — | — | Provisional | Измерения: undefined/4 · семейств: undefined | 28 авг. 2026 г. |
| — | GPT-4 TurboOpenAI | 53.6±16.0 | — | — | 7.7 | — | — | — | — | — | — | — | Provisional | Измерения: undefined/4 · семейств: undefined | 28 авг. 2026 г. |
| — | GPT-4o MiniOpenAI | 53.4±16.0 | — | — | 6.7 | — | — | — | — | — | — | — | Provisional | Измерения: undefined/4 · семейств: undefined | 28 авг. 2026 г. |
| — | GPT-5.1OpenAI | 53±16.0 | 5.4 | — | — | — | — | — | — | — | — | — | Provisional | Измерения: undefined/4 · семейств: undefined | 28 авг. 2026 г. |
| — | MiMo-V2-Pro | 52.8±16.0 | 4.6 | — | — | — | — | — | — | — | — | — | Provisional | Измерения: undefined/4 · семейств: undefined | 28 авг. 2026 г. |
| — | Phi 4 Multimodal Instruct | 52.7±16.0 | — | — | 4.2 | — | — | — | — | — | — | — | Provisional | Измерения: undefined/4 · семейств: undefined | 28 авг. 2026 г. |
| — | DeepSeek V4 ProDeepSeek | 52.6±18.0 | — | — | — | — | — | — | — | — | — | 45.0 | Provisional | Измерения: undefined/4 · семейств: undefined | 28 авг. 2026 г. |
| — | InklingThinking Machines | 52.6±14.0 | 2.0 | 66.8 | — | — | — | — | — | — | — | — | Provisional | Измерения: undefined/4 · семейств: undefined | 28 авг. 2026 г. |
| — | Qwen3.8 MaxQwen | 52.3±14.0 | 3.4 | 65.1 | — | — | — | — | — | — | — | — | Provisional | Измерения: undefined/4 · семейств: undefined | 28 авг. 2026 г. |
| — | MiniMax M3MiniMax | 52.1±14.0 | 1.4 | 65.7 | — | — | — | — | — | — | — | — | Provisional | Измерения: undefined/4 · семейств: undefined | 28 авг. 2026 г. |
| — | MiniMax M2.7MiniMax | 51.9±16.0 | 0.8 | — | — | — | — | — | — | — | — | — | Provisional | Измерения: undefined/4 · семейств: undefined | 28 авг. 2026 г. |
| — | Inkling SmallThinking Machines | 51.8±14.0 | -8.9 | 69.9 | — | — | — | — | — | — | — | — | Provisional | Измерения: undefined/4 · семейств: undefined | 28 авг. 2026 г. |
| — | Gemini 3.5 Flash-LiteGoogle | 51.7±14.0 | 5.2 | 62.3 | — | — | — | — | — | — | — | — | Provisional | Измерения: undefined/4 · семейств: undefined | 28 авг. 2026 г. |
| — | Grok 4.3SpaceXAI | 51.5±14.0 | 18.0 | 55.4 | — | — | — | — | — | — | — | — | Provisional | Измерения: undefined/4 · семейств: undefined | 28 авг. 2026 г. |
| — | GPT-5.2 CodexOpenAI | 51.1±16.0 | -2.2 | — | — | — | — | — | — | — | — | — | Provisional | Измерения: undefined/4 · семейств: undefined | 28 авг. 2026 г. |
| — | Command ACohere | 50.6±16.0 | -4.0 | — | — | — | — | — | — | — | — | — | Provisional | Измерения: undefined/4 · семейств: undefined | 28 авг. 2026 г. |
| — | Gemini 3 FlashGoogle | 50.6±16.0 | -4.3 | — | — | — | — | — | — | — | — | — | Provisional | Измерения: undefined/4 · семейств: undefined | 28 авг. 2026 г. |
| — | GPT-5.1 Codex MaxOpenAI | 50±16.0 | -6.5 | — | — | — | — | — | — | — | — | — | Provisional | Измерения: undefined/4 · семейств: undefined | 28 авг. 2026 г. |
| — | GPT-5.1 CodexOpenAI | 50±16.0 | -6.5 | — | — | — | — | — | — | — | — | — | Provisional | Измерения: undefined/4 · семейств: undefined | 28 авг. 2026 г. |
| — | GPT-5OpenAI | 49.5±16.0 | -8.7 | — | — | — | — | — | — | — | — | — | Provisional | Измерения: undefined/4 · семейств: undefined | 28 авг. 2026 г. |
| — | Claude Sonnet 4Anthropic | 49.4±16.0 | -9.0 | — | — | — | — | — | — | — | — | — | Provisional | Измерения: undefined/4 · семейств: undefined | 28 авг. 2026 г. |
| — | GPT-4.1 MiniOpenAI | 49.3±17.4 | — | — | — | — | — | 87.5 | — | — | — | — | Provisional | Измерения: undefined/4 · семейств: undefined | 28 авг. 2026 г. |
| — | Kimi K2.7 CodeMoonshotAI | 49.1±16.0 | -10.2 | — | — | — | — | — | — | — | — | — | Provisional | Измерения: undefined/4 · семейств: undefined | 28 авг. 2026 г. |
| — | GPT-4oOpenAI | 49±16.0 | -10.5 | — | — | — | — | — | — | — | — | — | Provisional | Измерения: undefined/4 · семейств: undefined | 28 авг. 2026 г. |
| — | Kimi K2.6MoonshotAI | 48±14.0 | 5.3 | 51.3 | — | — | — | — | — | — | — | — | Provisional | Измерения: undefined/4 · семейств: undefined | 28 авг. 2026 г. |
| — | O3 MiniOpenAI | 47.8±17.4 | — | — | — | — | — | 86.9 | — | — | — | — | Provisional | Измерения: undefined/4 · семейств: undefined | 28 авг. 2026 г. |
| — | O3OpenAI | 47.7±16.0 | -15.5 | — | — | — | — | — | — | — | — | — | Provisional | Измерения: undefined/4 · семейств: undefined | 28 авг. 2026 г. |
| — | DeepSeek V4 Flash 0731DeepSeek | 47.5±18.0 | — | — | — | — | — | — | — | — | — | 34.1 | Provisional | Измерения: undefined/4 · семейств: undefined | 28 авг. 2026 г. |
| — | GLM-5 TurboZ.ai | 47.5±16.0 | -16.4 | — | — | — | — | — | — | — | — | — | Provisional | Измерения: undefined/4 · семейств: undefined | 28 авг. 2026 г. |
| — | Llama 3.1Meta | 47.3±16.0 | -17.1 | — | — | — | — | — | — | — | — | — | Provisional | Измерения: undefined/4 · семейств: undefined | 28 авг. 2026 г. |
| — | Kimi K2.5MoonshotAI | 47.1±16.3 | — | — | — | — | — | — | 69.2 | — | — | — | Provisional | Измерения: undefined/4 · семейств: undefined | 28 авг. 2026 г. |
| — | Hy3Tencent | 47±16.0 | -18.5 | — | — | — | — | — | — | — | — | — | Provisional | Измерения: undefined/4 · семейств: undefined | 28 авг. 2026 г. |
| — | GLM-5V TurboZ.ai | 46.8±16.0 | -19.3 | — | — | — | — | — | — | — | — | — | Provisional | Измерения: undefined/4 · семейств: undefined | 28 авг. 2026 г. |
| — | MiMo-V2-Omni | 46.6±16.0 | -20.1 | — | — | — | — | — | — | — | — | — | Provisional | Измерения: undefined/4 · семейств: undefined | 28 авг. 2026 г. |
| — | GPT-5.4 MiniOpenAI | 46±14.0 | -18.9 | 57.6 | — | — | — | — | — | — | — | — | Provisional | Измерения: undefined/4 · семейств: undefined | 28 авг. 2026 г. |
| — | DeepSeek R1DeepSeek | 44.7±16.0 | -27.4 | — | — | — | — | — | — | — | — | — | Provisional | Измерения: undefined/4 · семейств: undefined | 28 авг. 2026 г. |
| — | Kimi K2MoonshotAI | 44.5±16.0 | -28.3 | — | — | — | — | — | — | — | — | — | Provisional | Измерения: undefined/4 · семейств: undefined | 28 авг. 2026 г. |
| — | Grok 4.20SpaceXAI | 44.1±15.1 | — | — | — | — | — | — | — | 20.3 | 50.2 | — | Provisional | Измерения: undefined/4 · семейств: undefined | 28 авг. 2026 г. |
| — | Qwen3.5-122B-A10BQwen | 43.7±16.3 | — | — | — | — | — | — | 67.1 | — | — | — | Provisional | Измерения: undefined/4 · семейств: undefined | 28 авг. 2026 г. |
| — | Mistral Medium 3Mistral | 43.7±16.0 | -31.4 | — | — | — | — | — | — | — | — | — | Provisional | Измерения: undefined/4 · семейств: undefined | 28 авг. 2026 г. |
| — | GLM-4.6Z.ai | 43.6±16.0 | -31.7 | — | — | — | — | — | — | — | — | — | Provisional | Измерения: undefined/4 · семейств: undefined | 28 авг. 2026 г. |
| — | Muse Glimmer 30BMeta | 43.3±16.0 | -32.8 | — | — | — | — | — | — | — | — | — | Provisional | Измерения: undefined/4 · семейств: undefined | 28 авг. 2026 г. |
| — | GPT-5.4 NanoOpenAI | 43.3±14.0 | -29.5 | 54.8 | — | — | — | — | — | — | — | — | Provisional | Измерения: undefined/4 · семейств: undefined | 28 авг. 2026 г. |
| — | GLM-5Z.ai | 43.3±16.3 | — | — | — | — | — | — | 66.8 | — | — | — | Provisional | Измерения: undefined/4 · семейств: undefined | 28 авг. 2026 г. |
| — | Mistral Medium 3.5Mistral | 42.3±16.0 | -36.8 | — | — | — | — | — | — | — | — | — | Provisional | Измерения: undefined/4 · семейств: undefined | 28 авг. 2026 г. |
| — | Step 3.7 FlashStepFun | 42.2±16.0 | -37.3 | — | — | — | — | — | — | — | — | — | Provisional | Измерения: undefined/4 · семейств: undefined | 28 авг. 2026 г. |
| — | Qwen3.8 27BQwen | 41.9±16.1 | — | 47.0 | — | — | — | — | — | — | — | — | Provisional | Измерения: undefined/4 · семейств: undefined | 28 авг. 2026 г. |
| — | Mistral Large 3 | 41.6±16.0 | -39.6 | — | — | — | — | — | — | — | — | — | Provisional | Измерения: undefined/4 · семейств: undefined | 28 авг. 2026 г. |
| — | DeepSeek V4 FlashDeepSeek | 41.4±18.0 | — | — | — | — | — | — | — | — | — | 23.1 | Provisional | Измерения: undefined/4 · семейств: undefined | 28 авг. 2026 г. |
| — | Qwen3.5-27BQwen | 41.4±16.3 | — | — | — | — | — | — | 65.6 | — | — | — | Provisional | Измерения: undefined/4 · семейств: undefined | 28 авг. 2026 г. |
| — | DeepSeek V3 | 41.1±16.0 | -41.6 | — | — | — | — | — | — | — | — | — | Provisional | Измерения: undefined/4 · семейств: undefined | 28 авг. 2026 г. |
Что измеряет этот рейтинг
Какая AI-модель лучше подходит для вопросов на знания?
Рейтинг охватывает общие и профессиональные знания, фактическую точность и открытые материалы. Он не гарантирует знание недавних событий.
Четыре измерения способности
Четыре измерения заданы схемой категории. Доступные данные могут покрывать только часть из них. Измерение без свидетельств не считается подтверждённой способностью.
Широкие знания
Сейчас это измерение поддерживают 6 столбцов бенчмарков.
- AA-Omniscience Index
- BenchLM Knowledge score
- Artificial Analysis Intelligence Index
- MMLU-Redux
- C-Eval
- MMLU
Профессиональные знания
Сейчас это измерение поддерживают 3 столбцов бенчмарков.
- SuperGPQA
- HealthBench Hard
- MedXpertQA (Text)
Фактологичность
Сейчас это измерение поддерживают 1 столбцов бенчмарков.
- SimpleQA
Поиск и открытые источники
В доступных данных нет подходящих свидетельств для этого измерения. Оно не влияет на Category Score.
Задачи на знания для сравнения
- Общие вопросы по разным темам с понятными ответами.
- Работа с профессиональными материалами и терминами.
- Вопросы с поиском, где модель использует внешние материалы, а не только память.
Как выбрать модель по этому рейтингу
- Шаг 1
Сначала проверьте статус
Только Rated-модели получают место. Estimated и Provisional не имеют формальной позиции.
- Шаг 2
Затем изучите интервал и свидетельства
Если оценки близки, не смотрите только на место. Проверьте неопределённость, измерения и число бенчмарков.
- Шаг 3
В конце проверьте реальную задачу
Рейтинг не заменяет ваш тест. Вместе проверяйте качество, скорость, цену, контекст и ограничения провайдера.
Для свежих данных используйте поиск и надёжные источники. Важные выводы проверяйте по первичным материалам.
Что означают статусы
Rated
Rated означает, что правила по свидетельствам и пересечениям выполнены. Модель может получить формальный ранг.
Estimated
Estimated означает, что полезные свидетельства есть, но их недостаточно для формального ранга.
Provisional
Provisional означает мало свидетельств или недостаточное покрытие аспектов и семейств бенчмарков для статуса Estimated. Это только ранний сигнал.
Бенчмарки и источники свидетельств
Названия источников и группы бенчмарков взяты из доступных данных оценки. Один источник может дать несколько бенчмарков.
BenchLM
AA-Omniscience Index, Artificial Analysis Intelligence Index, BenchLM Knowledge score, C-Eval, HealthBench Hard, MedXpertQA (Text), MMLU, MMLU-Redux, SimpleQA и SuperGPQA
Как строится рейтинг моделей по знаниям
LMSpeed объединяет подходящие сторонние бенчмарки в четырёх фиксированных измерениях. Rated-модели получают формальный ранг, а Estimated и Provisional остаются видимыми без позиции.
Подробнее о методологии Category ScoreОграничения рейтинга
Category Score использует сторонние бенчмарки, которые сейчас включены в LMSpeed. Тесты могут отличаться данными, запросами и правилами оценки. Результат не вечный и не описывает каждую реальную задачу. Важный выбор проверяйте на своих данных.
Частые вопросы
Какая доступная модель имеет самый высокий формальный ранг?
Сейчас формального первого места нет. На странице есть Estimated моделей 7 и Provisional моделей 93. У них нет формального ранга, поэтому их нельзя называть победителями.
Можно ли сравнивать оценки разных категорий?
Нет. Каждая категория использует свои измерения и свидетельства. Category Score сравним только внутри одной таблицы. Для другой задачи откройте её категорию.
Полезны ли Estimated и Provisional модели?
Они помогают найти кандидатов, но свидетельств пока недостаточно для формального ранга. Сначала изучите покрытие и неопределённость, затем проверьте модель на реальной задаче.
Как часто обновляется рейтинг?
Рейтинг обновляется после публикации нового завершённого запуска. Дата и версия методики указаны выше. LMSpeed не обещает фиксированное ежедневное или еженедельное обновление.
Модель на первом месте всегда лучше для меня?
Нет. Результат также зависит от скорости, цены, длины контекста, инструментов, региона и ограничений провайдера. Сначала сократите список, затем проведите свой тест.
Высокая оценка знаний исключает фактические ошибки?
Нет. Высокая оценка показывает результат только на текущих бенчмарках. Модель всё ещё может дать старые или неверные данные. Проверяйте дату и первичный источник.