LMSpeed 评分方法论

分类分数 V3.0

只使用实际 benchmark 跑分，通过同时参加多个评测的模型校准不同参评群体，再按能力维度均衡合成，并单独展示不确定性与覆盖。

版本 3.0 · 指数范围 0–100 · 不确定性区间 80%

分数代表什么

每个分类分数估计某次运行中相对于合格模型群的实测能力。不确定性、覆盖和评级成熟度单独展示，不再从能力主分中扣除。

它不是成功率、IQ，也不是把不同量纲的 benchmark raw value 直接求平均。

固定能力蓝图

每个分类固定定义四个能力维度。合格 benchmark family 先在所属维度内合成，再由已实测维度等权形成分类分；某个维度拥有更多 benchmark 时不会获得更高分类权重。

分类	四个解释性维度
Agent	规划拆解 · 工具调用 · 环境与长程执行 · 恢复与完成可靠性
Coding	代码生成 · 仓库工程 · 调试测试 · 工具化开发与质量
Reasoning	抽象逻辑 · 科学因果 · 多步约束 · 证据整合与验证
Knowledge	广泛知识 · 专业知识 · 事实性 · 检索与开放资料运用
Math	基础数学 · 竞赛数学 · 高阶证明 · 应用与工具辅助
Multilingual	跨语言理解 · 多语言生成 · 推理迁移 · 低资源鲁棒性
Multimodal	感知与 OCR · 文档空间 · 视觉推理 · 视频与落地行动
指令遵循	约束遵循 · 结构化输出 · 新指令泛化 · 多轮长指令

合格证据

V3 只使用能力构念明确、评测协议可比较的证据。同步适配器可以提出候选指标，但不能让候选自动获得计分资格。

版本化 catalog 明确声明每个合格指标的分类、子能力、canonical benchmark family、协议、方向、变换和计分状态；未登记指标默认只展示、不计分。
aggregate、estimated、inferred、方向不明和协议不明的数据全部排除；真实 raw value 为 0 时仍然是有效证据。
alias 与重复来源先在 canonical family + protocol 内去重，再依次优先 verified、official、reported、self-reported，最后按置信度、更新时间和稳定 ID 决胜。
每项 benchmark 至少覆盖三个模型才可计分；同一 benchmark family 的多个版本与协议在所属能力维度内共享 precision 上限 1。

标准化与证据质量

百分比尺度严格读取数据库 unit，不再根据数值大小猜测：score 除以 100，score_fraction 直接使用；其他百分比单位排除。fraction 执行带截断的 logit 变换，rating 保留声明的 identity 尺度，lower-is-better 指标先反向。每次运行内稳健标准化，最终 z-score 截断到 −3 至 3。

证据质量 q 同时考虑模型覆盖和开发者多样性。测量方差取标准化报告误差与来源 floor 中的较大值，再除以 q。来源标准差 floor 分别为 verified 0.25、official 0.35、reported 0.50、self-reported 0.75。

fraction = raw / 100 if unit = score

fraction = raw if unit = score_fraction

q = min(1, n / 8) × min(1, developerCount / 3)

z = clamp((x − median) / robustScale, −3, 3)

variance = max(normalizedStderr², sourceFloor²) / q

如何计算

只有 catalog 中协议、方向和能力构念明确的指标才可计分；aggregate、inferred、estimated 和 display-only 数据全部排除。
每项基准至少覆盖三个模型，并在当次模型群中稳健标准化；来源质量、模型覆盖、开发者多样性和标准误共同决定方差。
同一 benchmark family 的重复版本与协议在所属维度内共享一个 precision 上限，避免重复数据制造虚假分数或置信度。
每个维度使用 score-based Gaussian 模型，根据重叠参评模型联合估计模型能力与 benchmark cohort 偏移；不使用参数量、厂商、发布时间或模型家族先验。分类均值仍是实测维度的等权平均。
至少实测两个维度且拥有两个独立 family 才发布分类分；缺失维度只扩大 80% 区间，不会当作已经测得的失败。

precisionf = min(1, Σi∈f(1 / variancei))

zmb = θmd + βb + εmb

θmd ~ N(0, 1)

βb ~ N(0, 10)

εmb ~ N(0, 1 / precisionmb)

μd = E[θmd | eligible benchmark evidence]

σd² = Var[θmd | eligible benchmark evidence]

k = observedDimensionCount, k ≥ 2

μc = (1 / k) × Σd∈observed μd

σc² = Σd∈observed(σd² / k²) + (4 − k) / 16

score = clamp(50 + 15 × μc, 0, 100)

central80 = [μc − 1.281552 × σc, μc + 1.281552 × σc]

Rated: observedDimensions ≥ 3 and familyCount ≥ 4 and overlapCalibratedDimensions ≥ 2

如何阅读分数

Rated 至少需要 3 个实测维度、4 个独立 family，并且至少 2 个维度具备跨 benchmark 重叠校准；Estimated 至少需要 2 个维度和 2 个 family。更窄的证据标为 Unrated 并显示破折号，但详细 benchmark 仍然保留。
实测维度表示四项分类能力中有多少得到直接证据。已实测维度等权；更多 family 会改善该维度估计，但不会增加它的分类权重。
80% 区间用于表达不确定性；family 数和 effective coverage 用于判断估计来自多个独立信号，还是狭窄证据。
只有 Rated 分数获得正式全站排名，依次按未舍入分类均值、effective coverage、下界诊断值和模型 ID 排序。Estimated 可以按能力分排序但不授予正式名次。系统不会把八类平均成 Overall Score。

限制与解读

V3 只使用现有第三方基准，也会继承其任务选择、数据污染、评判器和协议限制。只有不同 benchmark 存在重叠参评模型时才能学习 cohort 偏移；断连证据会保留更宽的不确定性，且不能让分数获得正式排名。阅读 Estimated 时必须同时查看区间、实测维度、family 数和具体证据。

分数相对于某次运行中的合格模型群。跨时间比较必须同时注明运行日期和方法论版本。

参考资料

Score-based Bayesian Skill Learning

浏览模型

固定能力蓝图

分类	四个解释性维度
Agent	规划拆解 · 工具调用 · 环境与长程执行 · 恢复与完成可靠性
Coding	代码生成 · 仓库工程 · 调试测试 · 工具化开发与质量
Reasoning	抽象逻辑 · 科学因果 · 多步约束 · 证据整合与验证
Knowledge	广泛知识 · 专业知识 · 事实性 · 检索与开放资料运用
Math	基础数学 · 竞赛数学 · 高阶证明 · 应用与工具辅助
Multilingual	跨语言理解 · 多语言生成 · 推理迁移 · 低资源鲁棒性
Multimodal	感知与 OCR · 文档空间 · 视觉推理 · 视频与落地行动
指令遵循	约束遵循 · 结构化输出 · 新指令泛化 · 多轮长指令

合格证据

V3 只使用能力构念明确、评测协议可比较的证据。同步适配器可以提出候选指标，但不能让候选自动获得计分资格。

版本化 catalog 明确声明每个合格指标的分类、子能力、canonical benchmark family、协议、方向、变换和计分状态；未登记指标默认只展示、不计分。

aggregate、estimated、inferred、方向不明和协议不明的数据全部排除；真实 raw value 为 0 时仍然是有效证据。

alias 与重复来源先在 canonical family + protocol 内去重，再依次优先 verified、official、reported、self-reported，最后按置信度、更新时间和稳定 ID 决胜。

每项 benchmark 至少覆盖三个模型才可计分；同一 benchmark family 的多个版本与协议在所属能力维度内共享 precision 上限 1。

标准化与证据质量

fraction = raw / 100 if unit = score

fraction = raw if unit = score_fraction

q = min(1, n / 8) × min(1, developerCount / 3)

z = clamp((x − median) / robustScale, −3, 3)

variance = max(normalizedStderr², sourceFloor²) / q

如何计算

只有 catalog 中协议、方向和能力构念明确的指标才可计分；aggregate、inferred、estimated 和 display-only 数据全部排除。

每项基准至少覆盖三个模型，并在当次模型群中稳健标准化；来源质量、模型覆盖、开发者多样性和标准误共同决定方差。

同一 benchmark family 的重复版本与协议在所属维度内共享一个 precision 上限，避免重复数据制造虚假分数或置信度。

每个维度使用 score-based Gaussian 模型，根据重叠参评模型联合估计模型能力与 benchmark cohort 偏移；不使用参数量、厂商、发布时间或模型家族先验。分类均值仍是实测维度的等权平均。

至少实测两个维度且拥有两个独立 family 才发布分类分；缺失维度只扩大 80% 区间，不会当作已经测得的失败。

precisionf = min(1, Σi∈f(1 / variancei))

zmb = θmd + βb + εmb

θmd ~ N(0, 1)

βb ~ N(0, 10)

εmb ~ N(0, 1 / precisionmb)

μd = E[θmd | eligible benchmark evidence]

σd² = Var[θmd | eligible benchmark evidence]

k = observedDimensionCount, k ≥ 2

μc = (1 / k) × Σd∈observed μd

σc² = Σd∈observed(σd² / k²) + (4 − k) / 16

score = clamp(50 + 15 × μc, 0, 100)

central80 = [μc − 1.281552 × σc, μc + 1.281552 × σc]

Rated: observedDimensions ≥ 3 and familyCount ≥ 4 and overlapCalibratedDimensions ≥ 2

如何阅读分数

Rated 至少需要 3 个实测维度、4 个独立 family，并且至少 2 个维度具备跨 benchmark 重叠校准；Estimated 至少需要 2 个维度和 2 个 family。更窄的证据标为 Unrated 并显示破折号，但详细 benchmark 仍然保留。

实测维度表示四项分类能力中有多少得到直接证据。已实测维度等权；更多 family 会改善该维度估计，但不会增加它的分类权重。

80% 区间用于表达不确定性；family 数和 effective coverage 用于判断估计来自多个独立信号，还是狭窄证据。

只有 Rated 分数获得正式全站排名，依次按未舍入分类均值、effective coverage、下界诊断值和模型 ID 排序。Estimated 可以按能力分排序但不授予正式名次。系统不会把八类平均成 Overall Score。

限制与解读

分数相对于某次运行中的合格模型群。跨时间比较必须同时注明运行日期和方法论版本。

参考资料

浏览模型