Рейтинг Category Score V3
LMSpeed Лучшие модели по знаниям
Сравните широкие и профессиональные знания, фактическую точность, поиск и работу с открытыми материалами по всем свидетельствам активного запуска.
Методология 3.0Методология
Текущий вывод
Сейчас ни одна модель не соответствует правилам формального рейтинга. В таблице есть Estimated моделей 7 и Provisional моделей 93. Это полезные сигналы, но не формальные места.
Доступные данные рейтинга
- Показано моделей
- 100
- Моделей с формальным рангом
- 0
- Столбцов бенчмарков
- 9
- Измерений со свидетельствами
- 2/4
Как читать полосы бенчмарков
Каждая полоса сравнивает модели только внутри одного столбца бенчмарка. Длина рассчитана относительно показанных моделей, не является Category Score и несопоставима между столбцами.
| Место | Модель | Оценка LMSpeed | Широкие знания | Профессиональные знания | Статус | Покрытие | Обновлено | |||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| BenchLM Knowledge scoreМоделей: 66 | AA-Omniscience IndexМоделей: 65 | Artificial Analysis Intelligence IndexМоделей: 8 | MMLU-ReduxМоделей: 6 | C-EvalМоделей: 5 | MMLUМоделей: 5 | SuperGPQAМоделей: 16 | HealthBench HardМоделей: 7 | MedXpertQA (Text)Моделей: 4 | ||||||
| Estimated-модели — без места7 | ||||||||||||||
| — | Claude Opus 4.5Anthropic | 57.6±11.6 | — | — | — | 96.6 | 92.2 | — | 70.6 | — | — | Estimated | Измерения: 2/4 · семейств: 3 | 14 июл. 2026 г. |
| — | Qwen3.7 MaxQwen | 55.8±12.2 | — | — | — | 95.0 | — | — | 73.6 | — | — | Estimated | Измерения: 2/4 · семейств: 2 | 14 июл. 2026 г. |
| — | Qwen3.5 | 53.1±11.6 | — | — | — | 94.9 | 93.0 | — | 70.4 | — | — | Estimated | Измерения: 2/4 · семейств: 3 | 14 июл. 2026 г. |
| — | Qwen3.6 PlusQwen | 52±11.6 | — | — | — | 94.5 | 93.3 | — | 71.6 | — | — | Estimated | Измерения: 2/4 · семейств: 3 | 14 июл. 2026 г. |
| — | Qwen3.7 PlusQwen | 48.6±12.2 | — | — | — | 94.5 | — | — | 71.4 | — | — | Estimated | Измерения: 2/4 · семейств: 2 | 14 июл. 2026 г. |
| — | Qwen3.6 35B A3BQwen | 39.1±12.2 | — | — | — | — | 90.0 | — | 64.7 | — | — | Estimated | Измерения: 2/4 · семейств: 2 | 14 июл. 2026 г. |
| — | Qwen3.6 27BQwen | 37.3±11.6 | — | — | — | 93.5 | 91.4 | — | 66.0 | — | — | Estimated | Измерения: 2/4 · семейств: 3 | 14 июл. 2026 г. |
| Provisional-модели — без места93 | ||||||||||||||
| — | Claude Sonnet 4.6Anthropic | 70.6±16.3 | — | — | — | — | — | — | 95.0 | — | — | Provisional | Измерения: 1/4 · семейств: 1 | 14 июл. 2026 г. |
| — | Claude Opus 4.8Anthropic | 64.5±14.0 | 88.2 | 27.4 | — | — | — | — | — | — | — | Provisional | Измерения: 1/4 · семейств: 2 | 14 июл. 2026 г. |
| — | Claude Opus 4.7 MaxAnthropic | 63.5±14.0 | 84.9 | 26.2 | — | — | — | — | — | — | — | Provisional | Измерения: 1/4 · семейств: 2 | 14 июл. 2026 г. |
| — | O1OpenAI | 62.5±17.4 | — | — | — | — | — | 91.8 | — | — | — | Provisional | Измерения: 1/4 · семейств: 1 | 14 июл. 2026 г. |
| — | Claude Sonnet 5Anthropic | 62.3±14.0 | 87.3 | 15.3 | — | — | — | — | — | — | — | Provisional | Измерения: 1/4 · семейств: 2 | 14 июл. 2026 г. |
| — | Claude Fable 5Anthropic | 61.9±16.0 | 89.0 | — | — | — | — | — | — | — | — | Provisional | Измерения: 1/4 · семейств: 1 | 14 июл. 2026 г. |
| — | GPT-5.5OpenAI | 61.9±14.0 | 82.2 | 20.1 | — | — | — | — | — | — | — | Provisional | Измерения: 1/4 · семейств: 2 | 14 июл. 2026 г. |
| — | GPT-5.3 CodexOpenAI | 61.8±14.0 | 89.2 | 9.9 | — | — | — | — | — | — | — | Provisional | Измерения: 1/4 · семейств: 2 | 14 июл. 2026 г. |
| — | GPT-5.5 ProOpenAI | 61.3±16.0 | 87.1 | — | — | — | — | — | — | — | — | Provisional | Измерения: 1/4 · семейств: 1 | 14 июл. 2026 г. |
| — | Gemini 3 ProGoogle | 60±14.0 | 77.1 | 15.8 | — | — | — | — | — | — | — | Provisional | Измерения: 1/4 · семейств: 2 | 14 июл. 2026 г. |
| — | Gemini 3.5 FlashGoogle | 60±14.0 | 71.9 | 22.7 | — | — | — | — | — | — | — | Provisional | Измерения: 1/4 · семейств: 2 | 14 июл. 2026 г. |
| — | Grok 4.5xAI | 59.9±16.0 | — | 26.4 | — | — | — | — | — | — | — | Provisional | Измерения: 1/4 · семейств: 1 | 14 июл. 2026 г. |
| — | GPT-5.4OpenAI | 59.9±15.1 | — | — | — | — | — | — | — | 40.1 | 59.6 | Provisional | Измерения: 1/4 · семейств: 2 | 14 июл. 2026 г. |
| — | GPT-5.2OpenAI | 59.9±14.0 | 88.4 | -1.0 | — | — | — | — | — | — | — | Provisional | Измерения: 1/4 · семейств: 2 | 14 июл. 2026 г. |
| — | GLM-5.2Z.ai | 59.8±14.0 | 84.5 | 4.0 | — | — | — | — | — | — | — | Provisional | Измерения: 1/4 · семейств: 2 | 14 июл. 2026 г. |
| — | O3 ProOpenAI | 59.6±14.0 | 63.5 | — | 32.5 | — | — | — | — | — | — | Provisional | Измерения: 1/4 · семейств: 2 | 14 июл. 2026 г. |
| — | GLM-5.1Z.ai | 59.3±14.0 | 83.7 | 1.9 | — | — | — | — | — | — | — | Provisional | Измерения: 1/4 · семейств: 2 | 14 июл. 2026 г. |
| — | GPT-5.1OpenAI | 58.3±14.0 | 77.1 | 5.6 | — | — | — | — | — | — | — | Provisional | Измерения: 1/4 · семейств: 2 | 14 июл. 2026 г. |
| — | MiMo-V2.5-ProXiaomi | 58.1±14.0 | 77.4 | 3.6 | — | — | — | — | — | — | — | Provisional | Измерения: 1/4 · семейств: 2 | 14 июл. 2026 г. |
| — | Gemini 3.1 ProGoogle | 57.8±15.1 | — | — | — | — | — | — | — | 20.6 | 71.5 | Provisional | Измерения: 1/4 · семейств: 2 | 14 июл. 2026 г. |
| — | Grok 4.3xAI | 57.3±14.0 | 63.7 | 18.3 | — | — | — | — | — | — | — | Provisional | Измерения: 1/4 · семейств: 2 | 14 июл. 2026 г. |
| — | GPT-5.6 SolOpenAI | 57.2±16.7 | — | — | — | — | — | — | — | 33.1 | — | Provisional | Измерения: 1/4 · семейств: 1 | 14 июл. 2026 г. |
| — | GPT-5.6 TerraOpenAI | 57±16.7 | — | — | — | — | — | — | — | 32.7 | — | Provisional | Измерения: 1/4 · семейств: 1 | 14 июл. 2026 г. |
| — | GPT-4.1OpenAI | 57±17.4 | — | — | — | — | — | 90.2 | — | — | — | Provisional | Измерения: 1/4 · семейств: 1 | 14 июл. 2026 г. |
| — | Claude Opus 4.7Anthropic | 56.8±16.0 | — | 14.2 | — | — | — | — | — | — | — | Provisional | Измерения: 1/4 · семейств: 1 | 14 июл. 2026 г. |
| — | MiMo-V2-Pro | 56.8±14.0 | 71.0 | 4.9 | — | — | — | — | — | — | — | Provisional | Измерения: 1/4 · семейств: 2 | 14 июл. 2026 г. |
| — | GPT-5.6 LunaOpenAI | 56.5±16.7 | — | — | — | — | — | — | — | 32.0 | — | Provisional | Измерения: 1/4 · семейств: 1 | 14 июл. 2026 г. |
| — | GPT-5.2 CodexOpenAI | 56.1±14.0 | 73.3 | -2.5 | — | — | — | — | — | — | — | Provisional | Измерения: 1/4 · семейств: 2 | 14 июл. 2026 г. |
| — | DeepSeek R1 Distill QwenDeepSeek | 56.1±16.0 | — | — | 11.0 | — | — | — | — | — | — | Provisional | Измерения: 1/4 · семейств: 1 | 14 июл. 2026 г. |
| — | GPT-5.1 Codex MaxOpenAI | 55.6±14.0 | 73.7 | -6.0 | — | — | — | — | — | — | — | Provisional | Измерения: 1/4 · семейств: 2 | 14 июл. 2026 г. |
| — | Claude Opus 4.1Anthropic | 55.4±14.0 | 48.5 | — | 28.2 | — | — | — | — | — | — | Provisional | Измерения: 1/4 · семейств: 2 | 14 июл. 2026 г. |
| — | Kimi K2.6MoonshotAI | 55.3±14.0 | 63.4 | 6.4 | — | — | — | — | — | — | — | Provisional | Измерения: 1/4 · семейств: 2 | 14 июл. 2026 г. |
| — | Claude Sonnet 4.5Anthropic | 55.2±16.0 | 69.8 | — | — | — | — | — | — | — | — | Provisional | Измерения: 1/4 · семейств: 1 | 14 июл. 2026 г. |
| — | Grok Build 0 1xAI | 55.2±16.0 | — | 7.4 | — | — | — | — | — | — | — | Provisional | Измерения: 1/4 · семейств: 1 | 14 июл. 2026 г. |
| — | Qwen3.6 Max PreviewQwen | 55.1±16.3 | — | — | — | — | — | — | 73.9 | — | — | Provisional | Измерения: 1/4 · семейств: 1 | 14 июл. 2026 г. |
| — | O1 ProOpenAI | 55.1±14.0 | 53.8 | — | 18.9 | — | — | — | — | — | — | Provisional | Измерения: 1/4 · семейств: 2 | 14 июл. 2026 г. |
| — | GPT-5OpenAI | 54.2±14.0 | 70.3 | -10.1 | — | — | — | — | — | — | — | Provisional | Измерения: 1/4 · семейств: 2 | 14 июл. 2026 г. |
| — | Claude Opus 4.6Anthropic | 53.7±13.7 | — | — | — | — | — | — | 95.0 | 14.8 | 52.1 | Provisional | Измерения: 1/4 · семейств: 3 | 14 июл. 2026 г. |
| — | MiniMax M3MiniMax | 53.7±16.0 | — | 1.4 | — | — | — | — | — | — | — | Provisional | Измерения: 1/4 · семейств: 1 | 14 июл. 2026 г. |
| — | GPT-5.4 MiniOpenAI | 52.9±14.0 | 71.1 | -18.7 | — | — | — | — | — | — | — | Provisional | Измерения: 1/4 · семейств: 2 | 14 июл. 2026 г. |
| — | GPT-4o MiniOpenAI | 52.4±14.0 | 50.8 | — | 6.9 | — | — | — | — | — | — | Provisional | Измерения: 1/4 · семейств: 2 | 14 июл. 2026 г. |
| — | Command ACohere | 52.3±16.0 | — | -4.0 | — | — | — | — | — | — | — | Provisional | Измерения: 1/4 · семейств: 1 | 14 июл. 2026 г. |
| — | MiniMax M2.7MiniMax | 51.9±14.0 | 52.9 | 0.7 | — | — | — | — | — | — | — | Provisional | Измерения: 1/4 · семейств: 2 | 14 июл. 2026 г. |
| — | GPT-5.1 CodexOpenAI | 51.8±16.0 | — | -6.0 | — | — | — | — | — | — | — | Provisional | Измерения: 1/4 · семейств: 1 | 14 июл. 2026 г. |
| — | GPT-5.4 ProOpenAI | 51.8±16.0 | 60.0 | — | — | — | — | — | — | — | — | Provisional | Измерения: 1/4 · семейств: 1 | 14 июл. 2026 г. |
| — | O3OpenAI | 51.5±14.0 | 62.5 | -15.3 | — | — | — | — | — | — | — | Provisional | Измерения: 1/4 · семейств: 2 | 14 июл. 2026 г. |
| — | Gemini 2.5 ProGoogle | 51.3±14.0 | 61.0 | -14.3 | — | — | — | — | — | — | — | Provisional | Измерения: 1/4 · семейств: 2 | 14 июл. 2026 г. |
| — | Kimi K2.7 CodeMoonshotAI | 50.7±16.0 | — | -10.7 | — | — | — | — | — | — | — | Provisional | Измерения: 1/4 · семейств: 1 | 14 июл. 2026 г. |
| — | GPT-5.4 NanoOpenAI | 50.3±14.0 | 67.6 | -29.5 | — | — | — | — | — | — | — | Provisional | Измерения: 1/4 · семейств: 2 | 14 июл. 2026 г. |
| — | Gemini 1.5 ProGoogle | 50±14.0 | 38.1 | — | 10.0 | — | — | — | — | — | — | Provisional | Измерения: 1/4 · семейств: 2 | 14 июл. 2026 г. |
| — | Grok 3 Mini | 49.9±16.0 | 54.6 | — | — | — | — | — | — | — | — | Provisional | Измерения: 1/4 · семейств: 1 | 14 июл. 2026 г. |
| — | o4 Mini HighOpenAI | 49.8±16.0 | 54.2 | — | — | — | — | — | — | — | — | Provisional | Измерения: 1/4 · семейств: 1 | 14 июл. 2026 г. |
| — | GLM-5 TurboZ.ai | 49.6±16.0 | — | -15.1 | — | — | — | — | — | — | — | Provisional | Измерения: 1/4 · семейств: 1 | 14 июл. 2026 г. |
| — | GPT-4.1 MiniOpenAI | 49.3±17.4 | — | — | — | — | — | 87.5 | — | — | — | Provisional | Измерения: 1/4 · семейств: 1 | 14 июл. 2026 г. |
| — | DeepSeek V4 ProDeepSeek | 49.2±14.0 | 48.6 | -9.7 | — | — | — | — | — | — | — | Provisional | Измерения: 1/4 · семейств: 2 | 14 июл. 2026 г. |
| — | Kimi K2MoonshotAI | 49.1±14.0 | 60.9 | -27.5 | — | — | — | — | — | — | — | Provisional | Измерения: 1/4 · семейств: 2 | 14 июл. 2026 г. |
| — | Gemini 3 FlashGoogle | 49.1±14.0 | 43.8 | -3.6 | — | — | — | — | — | — | — | Provisional | Измерения: 1/4 · семейств: 2 | 14 июл. 2026 г. |
| — | Claude Sonnet 4Anthropic | 49±14.0 | 47.5 | -9.2 | — | — | — | — | — | — | — | Provisional | Измерения: 1/4 · семейств: 2 | 14 июл. 2026 г. |
| — | MiMo-V2-Omni | 49±16.0 | — | -17.4 | — | — | — | — | — | — | — | Provisional | Измерения: 1/4 · семейств: 1 | 14 июл. 2026 г. |
| — | Mistral Medium 3Mistral | 48.7±14.0 | 62.1 | -31.5 | — | — | — | — | — | — | — | Provisional | Измерения: 1/4 · семейств: 2 | 14 июл. 2026 г. |
| — | GLM-4.7Z.ai | 48.7±14.0 | 64.3 | -34.6 | — | — | — | — | — | — | — | Provisional | Измерения: 1/4 · семейств: 2 | 14 июл. 2026 г. |
| — | GLM-5V TurboZ.ai | 48.6±16.0 | — | -19.0 | — | — | — | — | — | — | — | Provisional | Измерения: 1/4 · семейств: 1 | 14 июл. 2026 г. |
| — | Claude 3 OpusAnthropic | 48.5±14.0 | 30.5 | — | 11.8 | — | — | — | — | — | — | Provisional | Измерения: 1/4 · семейств: 2 | 14 июл. 2026 г. |
| — | GPT-4 TurboOpenAI | 48.4±14.0 | 32.5 | — | 7.9 | — | — | — | — | — | — | Provisional | Измерения: 1/4 · семейств: 2 | 14 июл. 2026 г. |
| — | O3 MiniOpenAI | 47.8±17.4 | — | — | — | — | — | 86.9 | — | — | — | Provisional | Измерения: 1/4 · семейств: 1 | 14 июл. 2026 г. |
| — | Claude Haiku 4.5Anthropic | 47.3±16.0 | 46.9 | — | — | — | — | — | — | — | — | Provisional | Измерения: 1/4 · семейств: 1 | 14 июл. 2026 г. |
| — | Kimi K2.5MoonshotAI | 47.1±16.3 | — | — | — | — | — | — | 69.2 | — | — | Provisional | Измерения: 1/4 · семейств: 1 | 14 июл. 2026 г. |
| — | Llama 3.1Meta | 46.6±14.0 | 43.0 | -17.3 | — | — | — | — | — | — | — | Provisional | Измерения: 1/4 · семейств: 2 | 14 июл. 2026 г. |
| — | DeepSeek V4 FlashDeepSeek | 46.3±14.0 | 45.2 | -22.3 | — | — | — | — | — | — | — | Provisional | Измерения: 1/4 · семейств: 2 | 14 июл. 2026 г. |
| — | Hy3 previewTencent | 46.2±14.0 | 53.3 | -34.6 | — | — | — | — | — | — | — | Provisional | Измерения: 1/4 · семейств: 2 | 14 июл. 2026 г. |
| — | GLM-4.6Z.ai | 45.5±16.0 | — | -31.6 | — | — | — | — | — | — | — | Provisional | Измерения: 1/4 · семейств: 1 | 14 июл. 2026 г. |
| — | GPT-4oOpenAI | 45.5±14.0 | 33.2 | -10.7 | — | — | — | — | — | — | — | Provisional | Измерения: 1/4 · семейств: 2 | 14 июл. 2026 г. |
| — | MiMo-V2-Flash | 45.1±14.0 | 58.6 | -48.5 | — | — | — | — | — | — | — | Provisional | Измерения: 1/4 · семейств: 2 | 14 июл. 2026 г. |
| — | Gemini 3.1 Flash LiteGoogle | 44.8±14.0 | 33.9 | -15.5 | — | — | — | — | — | — | — | Provisional | Измерения: 1/4 · семейств: 2 | 14 июл. 2026 г. |
| — | Hy3Tencent | 44.8±16.0 | — | -34.6 | — | — | — | — | — | — | — | Provisional | Измерения: 1/4 · семейств: 1 | 14 июл. 2026 г. |
| — | DeepSeek V3.2DeepSeek | 44.7±14.0 | 55.8 | -46.7 | — | — | — | — | — | — | — | Provisional | Измерения: 1/4 · семейств: 2 | 14 июл. 2026 г. |
| — | DeepSeek V3 | 44.4±14.0 | 50.4 | -41.3 | — | — | — | — | — | — | — | Provisional | Измерения: 1/4 · семейств: 2 | 14 июл. 2026 г. |
| — | Mistral Medium 3.5Mistral | 44.3±16.0 | — | -36.3 | — | — | — | — | — | — | — | Provisional | Измерения: 1/4 · семейств: 1 | 14 июл. 2026 г. |
| — | Grok 4.20xAI | 44.1±15.1 | — | — | — | — | — | — | — | 20.3 | 50.2 | Provisional | Измерения: 1/4 · семейств: 2 | 14 июл. 2026 г. |
| — | Step 3.7 FlashStepFun | 44±16.0 | — | -37.5 | — | — | — | — | — | — | — | Provisional | Измерения: 1/4 · семейств: 1 | 14 июл. 2026 г. |
| — | Claude 3.5 SonnetAnthropic | 43.9±16.0 | 37.1 | — | — | — | — | — | — | — | — | Provisional | Измерения: 1/4 · семейств: 1 | 14 июл. 2026 г. |
| — | Qwen3.5-122B-A10BQwen | 43.7±16.3 | — | — | — | — | — | — | 67.1 | — | — | Provisional | Измерения: 1/4 · семейств: 1 | 14 июл. 2026 г. |
| — | DeepSeek R1DeepSeek | 43.6±14.0 | 37.1 | -27.1 | — | — | — | — | — | — | — | Provisional | Измерения: 1/4 · семейств: 2 | 14 июл. 2026 г. |
| — | Mistral Large 3 | 43.3±14.0 | 44.4 | -39.4 | — | — | — | — | — | — | — | Provisional | Измерения: 1/4 · семейств: 2 | 14 июл. 2026 г. |
| — | GLM-5Z.ai | 43.3±16.3 | — | — | — | — | — | — | 66.8 | — | — | Provisional | Измерения: 1/4 · семейств: 1 | 14 июл. 2026 г. |
| — | Qwen3 MaxQwen | 42.6±16.0 | — | -43.1 | — | — | — | — | — | — | — | Provisional | Измерения: 1/4 · семейств: 1 | 14 июл. 2026 г. |
| — | Trinity Large ThinkingArcee AI | 42.4±16.0 | — | -44.2 | — | — | — | — | — | — | — | Provisional | Измерения: 1/4 · семейств: 1 | 14 июл. 2026 г. |
| — | Qwen3.5-27BQwen | 41.4±16.3 | — | — | — | — | — | — | 65.6 | — | — | Provisional | Измерения: 1/4 · семейств: 1 | 14 июл. 2026 г. |
| — | Grok 3 | 41.3±16.0 | 29.8 | — | — | — | — | — | — | — | — | Provisional | Измерения: 1/4 · семейств: 1 | 14 июл. 2026 г. |
| — | gpt-oss-120bOpenAI | 40.3±14.0 | 39.1 | -50.0 | — | — | — | — | — | — | — | Provisional | Измерения: 1/4 · семейств: 2 | 14 июл. 2026 г. |
| — | Ling 2.6 FlashinclusionAI | 40±14.0 | 48.9 | -65.7 | — | — | — | — | — | — | — | Provisional | Измерения: 1/4 · семейств: 2 | 14 июл. 2026 г. |
| — | Gemini 2.5 FlashGoogle | 38.9±14.0 | 27.1 | -42.0 | — | — | — | — | — | — | — | Provisional | Измерения: 1/4 · семейств: 2 | 14 июл. 2026 г. |
| — | Phi 4Microsoft | 38.7±14.0 | 36.8 | -56.7 | — | — | — | — | — | — | — | Provisional | Измерения: 1/4 · семейств: 2 | 14 июл. 2026 г. |
Что измеряет этот рейтинг
Какая AI-модель лучше подходит для вопросов на знания?
Рейтинг охватывает общие и профессиональные знания, фактическую точность и открытые материалы. Он не гарантирует знание недавних событий.
Четыре измерения способности
Четыре измерения заданы схемой категории. Доступные данные могут покрывать только часть из них. Измерение без свидетельств не считается подтверждённой способностью.
Широкие знания
Сейчас это измерение поддерживают 6 столбцов бенчмарков.
- BenchLM Knowledge score
- AA-Omniscience Index
- Artificial Analysis Intelligence Index
- MMLU-Redux
- C-Eval
- MMLU
Профессиональные знания
Сейчас это измерение поддерживают 3 столбцов бенчмарков.
- SuperGPQA
- HealthBench Hard
- MedXpertQA (Text)
Фактологичность
В доступных данных нет подходящих свидетельств для этого измерения. Оно не влияет на Category Score.
Поиск и открытые источники
В доступных данных нет подходящих свидетельств для этого измерения. Оно не влияет на Category Score.
Задачи на знания для сравнения
- Общие вопросы по разным темам с понятными ответами.
- Работа с профессиональными материалами и терминами.
- Вопросы с поиском, где модель использует внешние материалы, а не только память.
Как выбрать модель по этому рейтингу
- Шаг 1
Сначала проверьте статус
Только Rated-модели получают место. Estimated и Provisional не имеют формальной позиции.
- Шаг 2
Затем изучите интервал и свидетельства
Если оценки близки, не смотрите только на место. Проверьте неопределённость, измерения и число бенчмарков.
- Шаг 3
В конце проверьте реальную задачу
Рейтинг не заменяет ваш тест. Вместе проверяйте качество, скорость, цену, контекст и ограничения провайдера.
Для свежих данных используйте поиск и надёжные источники. Важные выводы проверяйте по первичным материалам.
Что означают статусы
Rated
Rated означает, что правила по свидетельствам и пересечениям выполнены. Модель может получить формальный ранг.
Estimated
Estimated означает, что полезные свидетельства есть, но их недостаточно для формального ранга.
Provisional
Provisional означает мало свидетельств или недостаточное покрытие аспектов и семейств бенчмарков для статуса Estimated. Это только ранний сигнал.
Бенчмарки и источники свидетельств
Названия источников и группы бенчмарков взяты из доступных данных оценки. Один источник может дать несколько бенчмарков.
BenchLM
AA-Omniscience Index, Artificial Analysis Intelligence Index, BenchLM Knowledge score, C-Eval, HealthBench Hard, MedXpertQA (Text), MMLU, MMLU-Redux и SuperGPQA
Как строится рейтинг моделей по знаниям
LMSpeed объединяет подходящие сторонние бенчмарки в четырёх фиксированных измерениях. Rated-модели получают формальный ранг, а Estimated и Provisional остаются видимыми без позиции.
Подробнее о методологии Category ScoreОграничения рейтинга
Category Score использует сторонние бенчмарки, которые сейчас включены в LMSpeed. Тесты могут отличаться данными, запросами и правилами оценки. Результат не вечный и не описывает каждую реальную задачу. Важный выбор проверяйте на своих данных.
Частые вопросы
Какая доступная модель имеет самый высокий формальный ранг?
Сейчас формального первого места нет. На странице есть Estimated моделей 7 и Provisional моделей 93. У них нет формального ранга, поэтому их нельзя называть победителями.
Можно ли сравнивать оценки разных категорий?
Нет. Каждая категория использует свои измерения и свидетельства. Category Score сравним только внутри одной таблицы. Для другой задачи откройте её категорию.
Полезны ли Estimated и Provisional модели?
Они помогают найти кандидатов, но свидетельств пока недостаточно для формального ранга. Сначала изучите покрытие и неопределённость, затем проверьте модель на реальной задаче.
Как часто обновляется рейтинг?
Рейтинг обновляется после публикации нового завершённого запуска. Дата и версия методики указаны выше. LMSpeed не обещает фиксированное ежедневное или еженедельное обновление.
Модель на первом месте всегда лучше для меня?
Нет. Результат также зависит от скорости, цены, длины контекста, инструментов, региона и ограничений провайдера. Сначала сократите список, затем проведите свой тест.
Высокая оценка знаний исключает фактические ошибки?
Нет. Высокая оценка показывает результат только на текущих бенчмарках. Модель всё ещё может дать старые или неверные данные. Проверяйте дату и первичный источник.