Рейтинг Category Score V3
LMSpeed Лучшие модели для программирования
Сравните AI-модели по генерации кода, работе с репозиториями, отладке, тестированию и разработке с инструментами во всех доступных бенчмарках.
Методология 3.0Методология
Текущий вывод
Среди доступных моделей самый высокий формальный ранг у Claude Fable 5. Глобальная позиция 1. Category Score равен 68.3, а 80% интервал неопределённости равен ±6.9. Формальный ранг получили 54 доступных моделей. Вывод относится только к этому запуску.
Доступные данные рейтинга
- Показано моделей
- 100
- Моделей с формальным рангом
- 54
- Столбцов бенчмарков
- 17
- Измерений со свидетельствами
- 4/4
Как читать полосы бенчмарков
Каждая полоса сравнивает модели только внутри одного столбца бенчмарка. Длина рассчитана относительно показанных моделей, не является Category Score и несопоставима между столбцами.
| Место | Модель | Оценка LMSpeed | Генерация кода | Работа с репозиториями | Отладка и тестирование | Инструментальная разработка и качество | Статус | Покрытие | Обновлено | |||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| SciCodeМоделей: 184 | LiveCodeBenchМоделей: 119 | AA-SciCodeМоделей: 5 | BenchLM Coding scoreМоделей: 5 | LiveCodeBench v6Моделей: 5 | LiveCodeBench ProМоделей: 4 | AA Coding IndexМоделей: 2 | SWE-bench ProМоделей: 37 | Vibe Code BenchМоделей: 34 | React Native EvalsМоделей: 12 | NL2RepoМоделей: 10 | SWE-bench VerifiedМоделей: 43 | SWE MultilingualМоделей: 17 | SWE-RebenchМоделей: 11 | Terminal-Bench HardМоделей: 86 | Terminal-Bench 2.0Моделей: 26 | AA Terminal-Bench 2.1Моделей: 14 | ||||||
| Модели с формальным рейтингом54 | ||||||||||||||||||||||
| 1 | Claude Fable 5Anthropic | 68.3±6.9 | 60.2% | — | — | — | — | — | — | 80.0 | — | — | — | 95.0 | — | — | — | 84.3 | — | Rated | Измерения: 4/4 · семейств: 4 | 14 июл. 2026 г. |
| 2 | Claude Opus 4.8Anthropic | 67±6.6 | 53.5% | — | — | — | — | — | — | 69.2 | — | — | — | 88.6 | 84.4 | — | 58.3 | 74.6 | 84.6 | Rated | Измерения: 4/4 · семейств: 5 | 14 июл. 2026 г. |
| 3 | GPT-5.4OpenAI | 63.1±8.4 | 50.3% | — | — | — | — | 87.5 | — | 57.7 | 67.4 | 85.3 | — | — | — | — | 57.6 | — | — | Rated | Измерения: 3/4 · семейств: 6 | 14 июл. 2026 г. |
| 4 | Claude Opus 4.7 MaxAnthropic | 63±6.9 | — | — | 54.5 | — | — | — | — | 64.3 | — | — | — | 87.6 | — | — | 51.5 | 69.4 | — | Rated | Измерения: 4/4 · семейств: 4 | 14 июл. 2026 г. |
| 5 | GPT-5.5OpenAI | 61.2±8.7 | 53.5% | — | — | — | — | — | — | 58.6 | 69.8 | 84.7 | — | — | — | — | 60.6 | 82.0 | 84.3 | Rated | Измерения: 3/4 · семейств: 5 | 14 июл. 2026 г. |
| 6 | Claude Opus 4.7Anthropic | 60.9±8.9 | 50.1% | — | — | — | — | — | — | — | 71.0 | 82.8 | — | — | — | — | 54.5 | — | — | Rated | Измерения: 3/4 · семейств: 4 | 14 июл. 2026 г. |
| 7 | Qwen3.7 MaxQwen | 60.5±6.0 | 48.8% | 91.6% | — | — | — | — | — | 60.6 | — | — | 47.2 | 80.4 | 78.3 | — | 50.8 | 69.7 | 74.5 | Rated | Измерения: 4/4 · семейств: 7 | 14 июл. 2026 г. |
| 8 | Claude Sonnet 5Anthropic | 60.2±6.6 | 48.6% | — | — | — | — | — | — | 63.2 | — | — | — | 85.2 | 78.3 | — | — | 80.4 | 80.5 | Rated | Измерения: 4/4 · семейств: 5 | 14 июл. 2026 г. |
| 9 | Grok 4.5xAI | 59.9±6.9 | 54.1% | — | — | — | — | — | — | 64.7 | — | — | — | — | 78.0 | — | — | 83.3 | 81.6 | Rated | Измерения: 4/4 · семейств: 4 | 14 июл. 2026 г. |
| 10 | GPT-5.3 CodexOpenAI | 59.7±6.3 | 53.2% | — | — | — | — | — | — | 56.8 | 61.8 | — | — | 85.0 | — | 58.2 | 53.0 | — | — | Rated | Измерения: 4/4 · семейств: 6 | 14 июл. 2026 г. |
| 11 | Claude Opus 4.6Anthropic | 59.6±5.9 | 51.9% | — | — | — | — | 70.7 | — | 53.4 | 57.6 | 84.1 | — | 80.8 | — | 65.3 | 48.5 | — | — | Rated | Измерения: 4/4 · семейств: 8 | 14 июл. 2026 г. |
| 12 | GLM-5.2Z.ai | 59.4±8.9 | 36.1% | — | — | — | — | — | — | 62.1 | — | — | 48.9 | — | — | — | 50.8 | 81.0 | 77.9 | Rated | Измерения: 3/4 · семейств: 4 | 14 июл. 2026 г. |
| 13 | Gemini 3.1 ProGoogle | 57.7±8.6 | — | — | 58.9 | — | — | 82.9 | — | — | 32.0 | 78.9 | — | — | — | — | 53.8 | — | 73.8 | Rated | Измерения: 3/4 · семейств: 5 | 14 июл. 2026 г. |
| 14 | GPT-5.2OpenAI | 57.4±6.3 | 46.2% | 89.4% | — | — | — | — | — | 55.6 | 53.5 | — | — | 80.0 | — | — | 47.0 | — | — | Rated | Измерения: 4/4 · семейств: 6 | 14 июл. 2026 г. |
| 15 | Claude Opus 4.5Anthropic | 57.4±6.0 | 49.5% | 87.1% | — | — | 84.8 | — | — | 57.1 | — | — | 43.2 | 80.9 | 77.5 | — | 40.9 | — | — | Rated | Измерения: 4/4 · семейств: 7 | 14 июл. 2026 г. |
| 16 | Kimi K2.6MoonshotAI | 57.1±6.0 | 53.5% | 89.6% | — | — | 89.6 | — | — | 58.6 | 37.9 | — | — | 80.2 | 76.7 | — | 43.9 | 66.7 | 65.9 | Rated | Измерения: 4/4 · семейств: 7 | 14 июл. 2026 г. |
| 17 | Claude Sonnet 4.6Anthropic | 57±6.3 | 44.1% | — | — | — | — | — | — | — | 51.5 | 80.6 | — | 79.6 | — | 60.7 | 46.2 | — | — | Rated | Измерения: 4/4 · семейств: 6 | 14 июл. 2026 г. |
| 18 | Gemini 3.5 FlashGoogle | 56.4±8.9 | 53.0% | — | — | — | — | — | — | 55.1 | 48.7 | — | — | — | — | — | 40.9 | 76.2 | 78.7 | Rated | Измерения: 3/4 · семейств: 4 | 14 июл. 2026 г. |
| 19 | Gemini 3 ProGoogle | 56±8.9 | 56.1% | 91.7% | — | — | — | — | — | — | 14.3 | — | — | — | — | — | 41.7 | — | — | Rated | Измерения: 3/4 · семейств: 4 | 14 июл. 2026 г. |
| 20 | GLM-5.1Z.ai | 55.6±6.5 | 36.1% | — | — | — | — | — | — | 58.4 | 31.5 | — | 42.7 | — | — | 62.7 | 43.2 | — | — | Rated | Измерения: 4/4 · семейств: 6 | 14 июл. 2026 г. |
| 21 | Qwen3.7 PlusQwen | 55±6.0 | 45.5% | 89.6% | — | — | — | — | — | 57.6 | — | — | 41.1 | 77.7 | 75.8 | — | 47.0 | 70.3 | — | Rated | Измерения: 4/4 · семейств: 7 | 14 июл. 2026 г. |
| 22 | Qwen3.6 Max PreviewQwen | 54.9±8.9 | 46.9% | — | — | — | — | — | — | 57.3 | — | — | 42.9 | — | — | — | 43.9 | 65.4 | — | Rated | Измерения: 3/4 · семейств: 4 | 14 июл. 2026 г. |
| 23 | Qwen3.6 PlusQwen | 54.2±6.1 | 40.7% | — | — | — | 87.1 | — | — | 56.6 | 25.6 | — | — | 78.8 | 73.8 | — | 43.9 | — | — | Rated | Измерения: 4/4 · семейств: 7 | 14 июл. 2026 г. |
| 24 | MiniMax M3MiniMax | 54.2±6.6 | 45.4% | — | — | — | — | — | — | 59.0 | — | — | 42.1 | 80.5 | — | — | 42.4 | 66.0 | 65.2 | Rated | Измерения: 4/4 · семейств: 5 | 14 июл. 2026 г. |
| 25 | GLM-5Z.ai | 53.5±6.0 | 38.3% | — | — | — | — | — | — | 55.1 | 23.4 | 74.8 | — | 77.8 | 73.3 | 62.8 | 43.2 | — | — | Rated | Измерения: 4/4 · семейств: 8 | 14 июл. 2026 г. |
| 26 | Gemini 3 FlashGoogle | 53.3±8.9 | 49.9% | 79.7% | — | — | — | — | — | — | 20.2 | — | — | — | — | — | 31.8 | — | — | Rated | Измерения: 3/4 · семейств: 4 | 14 июл. 2026 г. |
| 27 | GLM-4.7Z.ai | 53.2±8.5 | 45.1% | 89.4% | — | — | — | — | — | — | — | — | — | 73.8 | — | 58.7 | 31.8 | — | — | Rated | Измерения: 3/4 · семейств: 5 | 14 июл. 2026 г. |
| 28 | GPT-5.1OpenAI | 52.4±8.9 | 36.5% | 49.4% | — | — | — | — | — | — | 24.6 | — | — | — | — | — | 45.5 | — | — | Rated | Измерения: 3/4 · семейств: 4 | 14 июл. 2026 г. |
| 29 | DeepSeek V3.2DeepSeek | 51.8±6.3 | 44.0% | 89.6% | — | — | — | — | — | — | 5.1 | 71.5 | — | — | — | 60.9 | 32.6 | — | — | Rated | Измерения: 4/4 · семейств: 6 | 14 июл. 2026 г. |
| 30 | GPT-5.1 CodexOpenAI | 51.7±8.9 | 40.2% | 84.9% | — | — | — | — | — | — | 13.1 | — | — | — | — | — | 34.8 | — | — | Rated | Измерения: 3/4 · семейств: 4 | 14 июл. 2026 г. |
| 31 | Kimi K2.5MoonshotAI | 51.4±5.7 | 49.0% | 85.0% | — | — | 85.0 | — | — | 50.7 | 17.5 | 77.2 | — | 76.8 | 73.0 | 58.5 | 34.8 | — | — | Rated | Измерения: 4/4 · семейств: 9 | 14 июл. 2026 г. |
| 32 | GPT-5OpenAI | 51.1±8.9 | 37.8% | 54.3% | — | — | — | — | — | — | 20.1 | — | — | — | — | — | 37.9 | — | — | Rated | Измерения: 3/4 · семейств: 4 | 14 июл. 2026 г. |
| 33 | MiMo-V2-Flash | 50.7±8.9 | 39.4% | 86.8% | — | — | — | — | — | — | — | — | — | 73.4 | — | — | 25.8 | — | — | Rated | Измерения: 3/4 · семейств: 4 | 14 июл. 2026 г. |
| 34 | Qwen3.5-27BQwen | 50.7±8.9 | 39.5% | — | — | — | — | — | — | — | — | — | — | 72.4 | — | 58.9 | 32.6 | — | — | Rated | Измерения: 3/4 · семейств: 4 | 14 июл. 2026 г. |
| 35 | DeepSeek V4 ProDeepSeek | 50.1±6.0 | 42.4% | 56.8% | — | — | — | — | — | 52.1 | 49.9 | — | — | 73.6 | 69.8 | — | 41.7 | 59.1 | — | Rated | Измерения: 4/4 · семейств: 7 | 14 июл. 2026 г. |
| 36 | gpt-oss-120bOpenAI | 49.7±8.9 | 38.9% | 87.8% | — | — | — | — | — | — | — | 71.6 | — | — | — | — | 23.5 | — | — | Rated | Измерения: 3/4 · семейств: 4 | 14 июл. 2026 г. |
| 37 | MiniMax M2.7MiniMax | 49.7±6.1 | 47.0% | — | — | — | — | — | — | 56.2 | 27.0 | 71.4 | 39.8 | — | 76.5 | 51.9 | 39.4 | — | — | Rated | Измерения: 4/4 · семейств: 8 | 14 июл. 2026 г. |
| 38 | Claude Sonnet 4Anthropic | 48.1±8.9 | 37.3% | 44.9% | — | — | — | — | — | — | — | — | — | 72.7 | — | — | 27.3 | — | — | Rated | Измерения: 3/4 · семейств: 4 | 14 июл. 2026 г. |
| 39 | Grok 4.20xAI | 47.9±8.6 | 45.6% | — | — | — | — | 74.2 | — | 51.8 | 4.1 | — | — | 76.7 | — | — | — | — | — | Rated | Измерения: 3/4 · семейств: 5 | 14 июл. 2026 г. |
| 40 | Qwen3.6 27BQwen | 47.5±6.0 | 37.3% | 83.9% | — | — | — | — | — | 53.5 | — | — | 36.2 | 77.2 | 71.3 | — | 34.8 | 59.3 | — | Rated | Измерения: 4/4 · семейств: 7 | 14 июл. 2026 г. |
| 41 | DeepSeek V4 FlashDeepSeek | 46.2±6.3 | 37.3% | 55.2% | — | — | — | — | — | 49.1 | — | — | — | 73.7 | 69.7 | — | 38.6 | 49.1 | — | Rated | Измерения: 4/4 · семейств: 6 | 14 июл. 2026 г. |
| 42 | Qwen3 MaxQwen | 45.4±8.9 | 38.3% | 76.7% | — | — | — | — | — | — | 3.5 | — | — | — | — | — | 20.5 | — | — | Rated | Измерения: 3/4 · семейств: 4 | 14 июл. 2026 г. |
| 43 | Qwen3.5-35B-A3BQwen | 45±8.9 | 37.7% | — | — | — | — | — | — | — | — | — | — | 69.2 | — | 53.7 | 26.5 | — | — | Rated | Измерения: 3/4 · семейств: 4 | 14 июл. 2026 г. |
| 44 | GLM-4.6Z.ai | 44.9±8.9 | 33.1% | 56.1% | — | — | — | — | — | — | 3.1 | — | — | — | — | — | 28.8 | — | — | Rated | Измерения: 3/4 · семейств: 4 | 14 июл. 2026 г. |
| 45 | gpt-oss-20bOpenAI | 44.7±8.9 | 34.4% | 77.7% | — | — | — | — | — | — | — | 71.0 | — | — | — | — | 10.6 | — | — | Rated | Измерения: 3/4 · семейств: 4 | 14 июл. 2026 г. |
| 46 | Qwen3.5 | 44.4±6.7 | 2.8% | — | — | — | 83.6 | — | — | 50.9 | — | — | — | 76.2 | — | — | 40.9 | — | — | Rated | Измерения: 4/4 · семейств: 5 | 14 июл. 2026 г. |
| 47 | Gemini 2.5 ProGoogle | 42±6.6 | 42.8% | 80.1% | — | — | — | — | — | — | 0.4 | — | — | 63.8 | — | — | 26.5 | — | — | Rated | Измерения: 4/4 · семейств: 5 | 14 июл. 2026 г. |
| 48 | Laguna M 1Poolside | 41.2±9.0 | — | — | — | — | — | — | — | 49.2 | — | — | — | 74.6 | 63.1 | — | — | 45.8 | — | Rated | Измерения: 3/4 · семейств: 4 | 14 июл. 2026 г. |
| 49 | Qwen3.6 35B A3BQwen | 40.3±6.0 | 1.3% | 80.4% | — | — | — | — | — | 49.5 | — | — | 29.4 | 73.4 | 67.2 | — | 34.8 | 51.5 | — | Rated | Измерения: 4/4 · семейств: 7 | 14 июл. 2026 г. |
| 50 | GPT-4.1OpenAI | 39.2±8.9 | 38.1% | 45.7% | — | — | — | — | — | — | — | — | — | 54.6 | — | — | 13.6 | — | — | Rated | Измерения: 3/4 · семейств: 4 | 14 июл. 2026 г. |
| 51 | O3 MiniOpenAI | 38±8.9 | 39.9% | 71.7% | — | — | — | — | — | — | — | — | — | 49.3 | — | — | 6.8 | — | — | Rated | Измерения: 3/4 · семейств: 4 | 14 июл. 2026 г. |
| 52 | GPT-4.1 MiniOpenAI | 37.4±8.9 | 40.4% | 48.3% | — | — | — | — | — | — | — | — | — | 23.6 | — | — | 7.6 | — | — | Rated | Измерения: 3/4 · семейств: 4 | 14 июл. 2026 г. |
| 53 | DeepSeek V3 | 35.9±8.9 | 35.8% | 40.5% | — | — | — | — | — | — | — | — | — | 42.0 | — | — | 6.8 | — | — | Rated | Измерения: 3/4 · семейств: 4 | 14 июл. 2026 г. |
| 54 | Laguna Xs 2Poolside | 35.8±9.0 | — | — | — | — | — | — | — | 46.3 | — | — | — | 69.9 | 57.7 | — | — | 35.7 | — | Rated | Измерения: 3/4 · семейств: 4 | 14 июл. 2026 г. |
| Estimated-модели — без места45 | ||||||||||||||||||||||
| — | GPT-5.6 SolOpenAI | 64±9.3 | 56.0% | — | — | — | — | — | — | 64.6 | — | — | — | — | — | — | 65.9 | 91.9 | 88.0 | Estimated | Измерения: 3/4 · семейств: 3 | 14 июл. 2026 г. |
| — | GPT-5.6 TerraOpenAI | 61.1±9.3 | 50.1% | — | — | — | — | — | — | 63.4 | — | — | — | — | — | — | 57.6 | 87.4 | 88.0 | Estimated | Измерения: 3/4 · семейств: 3 | 14 июл. 2026 г. |
| — | GPT-5.4 MiniOpenAI | 58.9±9.3 | 49.9% | — | — | — | — | — | — | — | 48.0 | — | — | — | — | — | 52.3 | — | — | Estimated | Измерения: 3/4 · семейств: 3 | 14 июл. 2026 г. |
| — | Kimi K2.7 CodeMoonshotAI | 58±11.8 | 47.5% | — | — | — | — | — | — | — | — | — | — | — | — | — | 44.7 | — | — | Estimated | Измерения: 2/4 · семейств: 2 | 14 июл. 2026 г. |
| — | GPT-5.6 LunaOpenAI | 58±9.3 | 45.8% | — | — | — | — | — | — | 62.7 | — | — | — | — | — | — | — | 84.7 | 80.9 | Estimated | Измерения: 3/4 · семейств: 3 | 14 июл. 2026 г. |
| — | GPT-5.2 CodexOpenAI | 56.9±9.3 | 54.6% | — | — | — | — | — | — | — | 37.9 | — | — | — | — | — | 37.1 | — | — | Estimated | Измерения: 3/4 · семейств: 3 | 14 июл. 2026 г. |
| — | Hy3Tencent | 55.6±11.8 | 47.6% | — | — | — | — | — | — | — | — | — | — | — | — | — | 34.1 | — | — | Estimated | Измерения: 2/4 · семейств: 2 | 14 июл. 2026 г. |
| — | Grok 4.3xAI | 55.5±11.8 | 44.6% | — | — | — | — | — | — | — | — | — | — | — | — | — | 37.9 | — | — | Estimated | Измерения: 2/4 · семейств: 2 | 14 июл. 2026 г. |
| — | O3OpenAI | 55.2±11.1 | 41.0% | 80.8% | — | — | — | — | — | — | — | — | — | — | — | — | 37.1 | — | — | Estimated | Измерения: 2/4 · семейств: 3 | 14 июл. 2026 г. |
| — | MiMo-V2-Pro | 54.8±9.2 | 42.5% | — | — | — | — | — | — | — | — | — | — | 78.0 | — | — | 40.9 | — | — | Estimated | Измерения: 3/4 · семейств: 3 | 14 июл. 2026 г. |
| — | GLM-5 TurboZ.ai | 54.1±11.8 | 43.6% | — | — | — | — | — | — | — | — | — | — | — | — | — | 33.3 | — | — | Estimated | Измерения: 2/4 · семейств: 2 | 14 июл. 2026 г. |
| — | GLM-5V TurboZ.ai | 53.9±11.8 | 43.5% | — | — | — | — | — | — | — | — | — | — | — | — | — | 32.6 | — | — | Estimated | Измерения: 2/4 · семейств: 2 | 14 июл. 2026 г. |
| — | Claude Sonnet 4.5Anthropic | 52.8±11.2 | 42.8% | 59.0% | — | — | — | — | — | — | — | — | — | 77.2 | — | — | — | — | — | Estimated | Измерения: 2/4 · семейств: 3 | 14 июл. 2026 г. |
| — | Mistral Medium 3.5Mistral | 52.7±9.2 | 39.6% | — | — | — | — | — | — | — | — | — | — | 77.6 | — | — | 33.3 | — | — | Estimated | Измерения: 3/4 · семейств: 3 | 14 июл. 2026 г. |
| — | GPT-5.4 NanoOpenAI | 52.3±9.3 | 35.2% | — | — | — | — | — | — | — | 26.1 | — | — | — | — | — | 42.4 | — | — | Estimated | Измерения: 3/4 · семейств: 3 | 14 июл. 2026 г. |
| — | GPT-5.1 Codex MaxOpenAI | 51.9±9.3 | — | — | 40.2 | — | — | — | — | — | 22.2 | — | — | — | — | — | 34.8 | — | — | Estimated | Измерения: 3/4 · семейств: 3 | 14 июл. 2026 г. |
| — | MiMo-V2.5Xiaomi | 51.7±9.3 | 43.1% | — | — | — | — | — | — | 56.1 | — | — | — | — | — | — | — | 65.8 | — | Estimated | Измерения: 3/4 · семейств: 3 | 14 июл. 2026 г. |
| — | DeepSeek V3.1DeepSeek | 51.2±11.1 | 39.1% | 78.4% | — | — | — | — | — | — | — | — | — | — | — | — | 24.2 | — | — | Estimated | Измерения: 2/4 · семейств: 3 | 14 июл. 2026 г. |
| — | Step 3.7 FlashStepFun | 51.2±9.3 | 40.0% | — | — | — | — | — | — | 56.3 | — | — | — | — | — | — | 35.6 | 59.5 | — | Estimated | Измерения: 3/4 · семейств: 3 | 14 июл. 2026 г. |
| — | MiMo-V2.5-ProXiaomi | 51.2±9.3 | 39.1% | — | — | — | — | — | — | 57.2 | — | — | — | — | — | — | 43.2 | 68.4 | 65.2 | Estimated | Измерения: 3/4 · семейств: 3 | 14 июл. 2026 г. |
| — | MiMo-V2-Omni | 50.9±9.2 | 36.7% | — | — | — | — | — | — | — | — | — | — | 74.8 | — | — | 34.8 | — | — | Estimated | Измерения: 3/4 · семейств: 3 | 14 июл. 2026 г. |
| — | MiniMax M2.5MiniMax | 50.5±11.8 | 42.6% | — | — | — | — | — | — | — | 14.9 | — | — | — | — | — | — | — | — | Estimated | Измерения: 2/4 · семейств: 2 | 14 июл. 2026 г. |
| — | Qwen3.5-122B-A10BQwen | 50.3±9.2 | 42.0% | — | — | — | — | — | — | — | — | — | — | 72.0 | — | — | 31.1 | — | — | Estimated | Измерения: 3/4 · семейств: 3 | 14 июл. 2026 г. |
| — | Hy3 previewTencent | 50.1±9.3 | 39.4% | — | — | — | — | — | — | — | — | — | — | 74.4 | — | — | 34.1 | 54.4 | — | Estimated | Измерения: 3/4 · семейств: 3 | 14 июл. 2026 г. |
| — | GPT-5 MiniOpenAI | 49.9±11.2 | 41.0% | 69.2% | — | — | — | — | — | — | 14.2 | — | — | — | — | — | — | — | — | Estimated | Измерения: 2/4 · семейств: 3 | 14 июл. 2026 г. |
| — | Trinity Large ThinkingArcee AI | 48.7±11.8 | 36.1% | — | — | — | — | — | — | — | — | — | — | — | — | — | 22.7 | — | — | Estimated | Измерения: 2/4 · семейств: 2 | 14 июл. 2026 г. |
| — | Command ACohere | 47.6±11.1 | 37.8% | 28.7% | — | — | — | — | — | — | — | — | — | — | — | — | 25.0 | — | — | Estimated | Измерения: 2/4 · семейств: 3 | 14 июл. 2026 г. |
| — | Claude Haiku 4.5Anthropic | 47.5±11.2 | 34.4% | 51.1% | — | — | — | — | — | — | — | — | — | 73.3 | — | — | — | — | — | Estimated | Измерения: 2/4 · семейств: 3 | 14 июл. 2026 г. |
| — | GLM-4.5 AirZ.ai | 47.2±11.1 | 30.6% | 68.4% | — | — | — | — | — | — | — | — | — | — | — | — | 20.5 | — | — | Estimated | Измерения: 2/4 · семейств: 3 | 14 июл. 2026 г. |
| — | DeepSeek R1DeepSeek | 46.3±11.1 | 35.7% | 61.7% | — | — | — | — | — | — | — | — | — | — | — | — | 15.9 | — | — | Estimated | Измерения: 2/4 · семейств: 3 | 14 июл. 2026 г. |
| — | Kimi K2MoonshotAI | 45.6±11.1 | 34.5% | 55.6% | — | — | — | — | — | — | — | — | — | — | — | — | 15.9 | — | — | Estimated | Измерения: 2/4 · семейств: 3 | 14 июл. 2026 г. |
| — | O1OpenAI | 45.4±11.1 | 35.8% | 67.9% | — | — | — | — | — | — | — | — | — | — | — | — | 12.9 | — | — | Estimated | Измерения: 2/4 · семейств: 3 | 14 июл. 2026 г. |
| — | Mistral Large 3 | 45.4±11.1 | 36.2% | 46.5% | — | — | — | — | — | — | — | — | — | — | — | — | 15.9 | — | — | Estimated | Измерения: 2/4 · семейств: 3 | 14 июл. 2026 г. |
| — | Gemini 2.5 FlashGoogle | 45.1±11.1 | 37.5% | 62.5% | — | — | — | — | — | — | — | — | — | — | — | — | 12.1 | — | — | Estimated | Измерения: 2/4 · семейств: 3 | 14 июл. 2026 г. |
| — | Ling 2.6 FlashinclusionAI | 44.8±11.8 | 27.1% | — | — | — | — | — | — | — | — | — | — | — | — | — | 21.2 | — | — | Estimated | Измерения: 2/4 · семейств: 2 | 14 июл. 2026 г. |
| — | Gemini 3.1 Flash LiteGoogle | 43.2±9.3 | — | — | 41.9 | — | — | — | — | — | 0.0 | — | — | — | — | — | 24.2 | — | — | Estimated | Измерения: 3/4 · семейств: 3 | 14 июл. 2026 г. |
| — | GPT-4oOpenAI | 40.5±11.1 | 33.4% | 42.5% | — | — | — | — | — | — | — | — | — | — | — | — | 8.3 | — | — | Estimated | Измерения: 2/4 · семейств: 3 | 14 июл. 2026 г. |
| — | Llama 4 MaverickMeta | 39.1±11.1 | 33.1% | 39.7% | — | — | — | — | — | — | — | — | — | — | — | — | 6.8 | — | — | Estimated | Измерения: 2/4 · семейств: 3 | 14 июл. 2026 г. |
| — | Llama 3.1Meta | 38.9±11.8 | — | — | 29.9 | — | — | — | — | — | — | — | — | — | — | — | 6.8 | — | — | Estimated | Измерения: 2/4 · семейств: 2 | 14 июл. 2026 г. |
| — | Mistral Medium 3Mistral | 38.6±11.1 | 33.1% | 40.0% | — | — | — | — | — | — | — | — | — | — | — | — | 3.8 | — | — | Estimated | Измерения: 2/4 · семейств: 3 | 14 июл. 2026 г. |
| — | Claude 3.5 SonnetAnthropic | 36.7±11.2 | 31.6% | 38.1% | — | — | — | — | — | — | — | — | — | 49.0 | — | — | — | — | — | Estimated | Измерения: 2/4 · семейств: 3 | 14 июл. 2026 г. |
| — | GPT-4.1 NanoOpenAI | 36.1±11.1 | 25.9% | 32.6% | — | — | — | — | — | — | — | — | — | — | — | — | 3.8 | — | — | Estimated | Измерения: 2/4 · семейств: 3 | 14 июл. 2026 г. |
| — | Phi 4Microsoft | 35.4±11.1 | 26.0% | 23.1% | — | — | — | — | — | — | — | — | — | — | — | — | 3.8 | — | — | Estimated | Измерения: 2/4 · семейств: 3 | 14 июл. 2026 г. |
| — | Llama 4 ScoutMeta | 33±11.1 | 17.0% | 29.9% | — | — | — | — | — | — | — | — | — | — | — | — | 1.5 | — | — | Estimated | Измерения: 2/4 · семейств: 3 | 14 июл. 2026 г. |
| — | Claude 3 HaikuAnthropic | 32.2±11.1 | 18.6% | 15.4% | — | — | — | — | — | — | — | — | — | — | — | — | 0.8 | — | — | Estimated | Измерения: 2/4 · семейств: 3 | 14 июл. 2026 г. |
| Provisional-модели — без места1 | ||||||||||||||||||||||
| — | Gemini 3.1 Pro PreviewGoogle | 65.8±16.0 | 58.9% | — | — | — | — | — | — | — | — | — | — | — | — | — | — | — | — | Provisional | Измерения: 1/4 · семейств: 1 | 14 июл. 2026 г. |
Что измеряет этот рейтинг
Какая AI-модель лучше подходит для программирования?
Рейтинг охватывает генерацию кода, понимание репозитория, отладку, тесты и работу с инструментами. Одна задача на код не описывает всю программную разработку.
Четыре измерения способности
Четыре измерения заданы схемой категории. Доступные данные могут покрывать только часть из них. Измерение без свидетельств не считается подтверждённой способностью.
Генерация кода
Сейчас это измерение поддерживают 7 столбцов бенчмарков.
- SciCode
- LiveCodeBench
- AA-SciCode
- BenchLM Coding score
- LiveCodeBench v6
- LiveCodeBench Pro
- AA Coding Index
Работа с репозиториями
Сейчас это измерение поддерживают 4 столбцов бенчмарков.
- SWE-bench Pro
- Vibe Code Bench
- React Native Evals
- NL2Repo
Отладка и тестирование
Сейчас это измерение поддерживают 3 столбцов бенчмарков.
- SWE-bench Verified
- SWE Multilingual
- SWE-Rebench
Инструментальная разработка и качество
Сейчас это измерение поддерживают 3 столбцов бенчмарков.
- Terminal-Bench Hard
- Terminal-Bench 2.0
- AA Terminal-Bench 2.1
Задачи программирования для сравнения
- Ежедневный код, включая функции, объяснения и небольшие возможности.
- Изменения в нескольких файлах с пониманием структуры репозитория.
- Агенты разработки, которые используют терминал, тесты и инструменты для кода.
Как выбрать модель по этому рейтингу
- Шаг 1
Сначала проверьте статус
Только Rated-модели получают место. Estimated и Provisional не имеют формальной позиции.
- Шаг 2
Затем изучите интервал и свидетельства
Если оценки близки, не смотрите только на место. Проверьте неопределённость, измерения и число бенчмарков.
- Шаг 3
В конце проверьте реальную задачу
Рейтинг не заменяет ваш тест. Вместе проверяйте качество, скорость, цену, контекст и ограничения провайдера.
Сначала выберите язык, размер репозитория и инструменты. Затем проверьте тесты, объём изменений, скорость и цену.
Что означают статусы
Rated
Rated означает, что правила по свидетельствам и пересечениям выполнены. Модель может получить формальный ранг.
Estimated
Estimated означает, что полезные свидетельства есть, но их недостаточно для формального ранга.
Provisional
Provisional означает мало свидетельств или недостаточное покрытие аспектов и семейств бенчмарков для статуса Estimated. Это только ранний сигнал.
Бенчмарки и источники свидетельств
Названия источников и группы бенчмарков взяты из доступных данных оценки. Один источник может дать несколько бенчмарков.
Artificial Analysis
AA Coding Index, LiveCodeBench и SciCode
BenchLM
AA Terminal-Bench 2.1, AA-SciCode, BenchLM Coding score, LiveCodeBench, LiveCodeBench Pro, LiveCodeBench v6, NL2Repo, React Native Evals, SWE Multilingual, SWE-bench Pro, SWE-bench Verified, SWE-Rebench, Terminal-Bench 2.0, Terminal-Bench Hard и Vibe Code Bench
Как строится рейтинг моделей для кодинга
LMSpeed объединяет подходящие сторонние бенчмарки в четырёх фиксированных измерениях. Rated-модели получают формальный ранг, а Estimated и Provisional остаются видимыми без позиции.
Подробнее о методологии Category ScoreОграничения рейтинга
Category Score использует сторонние бенчмарки, которые сейчас включены в LMSpeed. Тесты могут отличаться данными, запросами и правилами оценки. Результат не вечный и не описывает каждую реальную задачу. Важный выбор проверяйте на своих данных.
Частые вопросы
Какая доступная модель имеет самый высокий формальный ранг?
Среди доступных моделей самый высокий формальный ранг у Claude Fable 5. Глобальная позиция 1, а Category Score равен 68.3. Правила формального рейтинга выполняют 54 доступных моделей. Результат относится только к дате и версии методики на странице.
Можно ли сравнивать оценки разных категорий?
Нет. Каждая категория использует свои измерения и свидетельства. Category Score сравним только внутри одной таблицы. Для другой задачи откройте её категорию.
Полезны ли Estimated и Provisional модели?
Они помогают найти кандидатов, но свидетельств пока недостаточно для формального ранга. Сначала изучите покрытие и неопределённость, затем проверьте модель на реальной задаче.
Как часто обновляется рейтинг?
Рейтинг обновляется после публикации нового завершённого запуска. Дата и версия методики указаны выше. LMSpeed не обещает фиксированное ежедневное или еженедельное обновление.
Модель на первом месте всегда лучше для меня?
Нет. Результат также зависит от скорости, цены, длины контекста, инструментов, региона и ограничений провайдера. Сначала сократите список, затем проведите свой тест.
Чем рейтинг кодинга отличается от общего рассуждения?
Рейтинг кодинга сильнее учитывает код, репозитории, отладку и тесты. Оценка рассуждения полезна, но не заменяет запуск кода и реальные результаты тестов.