Методология оценки LMSpeed
Category Score V3.0
Оценка использует только результаты бенчмарков, калибрует разные группы участников по моделям, протестированным в нескольких бенчмарках, и отдельно показывает неопределённость и покрытие.
Версия 3.0 · Диапазон индекса 0–100 · Интервал неопределённости 80%
Что означает оценка
Оценка категории отражает относительную наблюдаемую способность среди допустимых моделей запуска. Неопределённость, покрытие и зрелость рейтинга показываются отдельно и не вычитаются из основной оценки.
Это не вероятность успеха, не IQ и не простое среднее исходных значений несопоставимых бенчмарков.
Фиксированная схема
Каждая категория определяет четыре аспекта способности. Семейства бенчмарков сначала объединяются внутри своего аспекта, затем наблюдаемые аспекты получают равный вес. Большее число бенчмарков не увеличивает вес аспекта.
| Категория | Четыре поясняющих измерения |
|---|---|
| Агенты | Планирование · Использование инструментов · Длительное выполнение в среде · Восстановление и надёжность |
| Кодирование | Генерация кода · Работа с репозиторием · Отладка и тестирование · Инструменты и качество |
| Рассуждение | Абстрактная логика · Научное и причинное мышление · Многошаговые ограничения · Проверка доказательств |
| Знания | Общие знания · Профессиональные знания · Фактическая точность · Поиск и открытые источники |
| Математика | Базовая математика · Олимпиадная математика · Продвинутые доказательства · Прикладные задачи и инструменты |
| Многоязычность | Межъязыковое понимание · Многоязычная генерация · Перенос рассуждений · Устойчивость для малоресурсных языков |
| Мультимодальность | Восприятие и OCR · Документы и пространство · Визуальное рассуждение · Видео и действия |
| Следование инструкциям | Соблюдение ограничений · Структурированный вывод · Новые инструкции · Длинные многоходовые инструкции |
Допустимые доказательства
V3 учитывает только доказательства с явно заданной способностью и сопоставимым протоколом оценки. Адаптер синхронизации может предложить метрику, но не может автоматически сделать её допустимой.
- Версионированный каталог задаёт категорию, измерение, каноническое семейство бенчмарка, протокол, направление, преобразование и статус. Незарегистрированные метрики остаются только для отображения.
- Агрегированные, estimated, inferred, а также значения с неизвестным направлением или протоколом исключаются. Настоящее исходное значение 0 остаётся допустимым доказательством.
- Псевдонимы и повторные источники сначала дедуплицируются внутри canonical family + protocol; затем применяются приоритеты verified, official, reported и self-reported, уверенность, свежесть и стабильный ID.
- Бенчмарк должен охватывать минимум три модели. Версии и протоколы одного семейства делят предел precision 1 внутри своего аспекта способности.
Нормализация и качество доказательств
Шкала процентов берётся только из unit и не угадывается по величине: score делится на 100, score_fraction используется напрямую, остальные единицы исключаются. Доли проходят ограниченное logit-преобразование, рейтинги сохраняют identity-шкалу, а lower-is-better метрики инвертируются. В каждом запуске применяется устойчивая нормализация; z-score ограничивается от −3 до 3.
Качество q объединяет охват моделей и разнообразие разработчиков. Дисперсия использует максимум нормализованной заявленной ошибки и floor источника, делённый на q. Floor стандартного отклонения: verified 0.25, official 0.35, reported 0.50 и self-reported 0.75.
fraction = raw / 100 if unit = score
fraction = raw if unit = score_fraction
q = min(1, n / 8) × min(1, developerCount / 3)
z = clamp((x − median) / robustScale, −3, 3)
variance = max(normalizedStderr², sourceFloor²) / q
Как рассчитывается
- Учитываются только метрики каталога с известным протоколом, направлением и конструкцией; агрегированные, inferred, estimated и display-only строки исключаются.
- Бенчмарк должен охватывать минимум три модели и устойчиво стандартизируется; дисперсия зависит от качества источника, охвата моделей, разнообразия разработчиков и ошибки.
- Повторные версии и протоколы одного семейства делят единый предел precision внутри аспекта и не могут искусственно увеличивать оценку или уверенность.
- В каждом аспекте score-based Gaussian model совместно оценивает способность модели и смещение когорты бенчмарка по пересекающимся моделям. Априорные данные о размере, поставщике, дате выпуска или семействе модели не используются.
- Числовая оценка требует минимум двух наблюдаемых аспектов и двух независимых семейств. Отсутствующие аспекты расширяют интервал 80%, а не считаются измеренной неудачей.
precisionf = min(1, Σi∈f(1 / variancei))
zmb = θmd + βb + εmb
θmd ~ N(0, 1)
βb ~ N(0, 10)
εmb ~ N(0, 1 / precisionmb)
μd = E[θmd | eligible benchmark evidence]
σd² = Var[θmd | eligible benchmark evidence]
k = observedDimensionCount, k ≥ 2
μc = (1 / k) × Σd∈observed μd
σc² = Σd∈observed(σd² / k²) + (4 − k) / 16
score = clamp(50 + 15 × μc, 0, 100)
central80 = [μc − 1.281552 × σc, μc + 1.281552 × σc]
Rated: observedDimensions ≥ 3 and familyCount ≥ 4 and overlapCalibratedDimensions ≥ 2
Как читать оценку
- Rated требует минимум три наблюдаемых аспекта, четыре независимых семейства и overlap-калибровку минимум в двух аспектах. Estimated требует минимум два аспекта и два семейства. Более узкие данные получают Unrated и отображаются прочерком.
- Измеренные аспекты показывают, сколько из четырёх способностей имеют прямые данные. Наблюдаемые аспекты равновзвешены; дополнительные семейства улучшают оценку аспекта, но не его вес.
- 80% интервал показывает неопределённость. Число семейств и effective coverage позволяют отличить несколько независимых сигналов от узкой базы данных.
- Формальный глобальный ранг получают только оценки Rated; порядок задают неокруглённое среднее категории, effective coverage, диагностическая нижняя граница и ID модели. Estimated сортируются по способности, но не получают ранга. Среднее восьми категорий не создаётся.
Ограничения и интерпретация
V3 использует сторонние бенчмарки и наследует ограничения выбора задач, загрязнения данных, оценщиков и протоколов. Смещение когорты можно оценить только при пересечении участников; несвязанные данные сохраняют более широкую неопределённость и не дают формального ранга. Estimated нужно читать вместе с интервалом, аспектами, семействами и доказательствами.
Оценки относительны к допустимым моделям конкретного запуска. Для сравнения во времени указывайте дату запуска и версию методологии.