数据点: 102
Model compare
GPT-4o Mini 和 O1 的结论先放在这里,方便先判断是否值得继续看明细。
综合加权结果:O1。Benchmark 能力分类占 80%,价格、API 性能和可用性占 20%。
结论
O1
O1 当前综合加权更高;模型 A / B 得分为 20 对 80。
证据覆盖
102 个数据点
包含 19 个 benchmark、0 个 audit 样本和 6 个 provider 样本。
选择依据
优先看 O1
下方图表把 25 组高信号样本拆开,便于核对速度、跑分和安全分。
左右两边都可以换成其他模型,页面会打开新的 LMSpeed 对比 URL。
选择其他模型后会打开新的对比页。
这份报告只使用 LMSpeed 已有数据:GPT-4o Mini 和 O1 的价格、测速聚合、第三方跑分与共同服务商样本。
| Model compare | GPT-4o Mini | O1 |
|---|
| 综合领先 | 对照 | 领先 |
|---|---|---|
| 综合加权得分 | 20.0 分 | 80.0 分 |
| Benchmark 分类领先 | 0 类 | 6 类 |
| 运营维度优势 | 最低输入价格、免费服务商、服务商覆盖 | 暂无数据 |
| 上下文窗口 | 128K tokens | 200K tokens |
| 最大输出 | 16.4K tokens | 100K tokens |
| 模态 | 输入 文本图像文件 输出 文本 | 输入 文本图像文件 输出 文本 |
| 能力 | 文本输入图像输入文件输入文本输出工具调用结构化输出JSON 模式联网搜索 | 文本输入图像输入文件输入文本输出工具调用结构化输出JSON 模式 |
总体结果按 80% benchmark 能力分类和 20% 价格、API 速度/延迟与可用性加权;近期测试数量不参与胜负,缺失的 benchmark 分类不计分。
| Model compare | GPT-4o Mini | O1 |
|---|---|---|
| 开发者 | OpenAI | OpenAI |
| 发布日期 | 2024年7月 | 2024年12月 |
| 参数量 | 暂无数据 | 暂无数据 |
| Tokenizer | GPT | GPT |
| 知识截止 | 2023-10-31 | 2023-10-31 |
| OpenRouter ID | openai/gpt-4o-mini | openai/o1 |
| 来源链接 | 暂无数据 | 暂无数据 |
这份报告只使用 LMSpeed 已有数据:GPT-4o Mini 和 O1 的价格、测速聚合、第三方跑分与共同服务商样本。
GPT-4o Mini
GPT-4o Mini 的运营优势是:最低输入价格、免费服务商、服务商覆盖。
O1
O1 在 benchmark 分类中领先:Agents、代码、推理、知识、数学。
来自 LMSpeed 同步的第三方 benchmark profile;只展示两个模型都有数值的指标。
按 0-100 分对比 benchmark 分类表现;点击分类可以聚焦查看差距。
平均分
GPT-4o Mini
42
平均分
O1
52.5
O1 领先 13.5
O1 领先 13.2
O1 领先 10.5
O1 领先 7.9
O1 领先 6.6
暂无数据
暂无数据
O1 领先 11.3
按具体 benchmark 指标对比两个模型,展示来源、排名覆盖、置信度、误差和评测日期等上下文。
GPT-4o Mini
领先0.61 s
排名 #16/139 · confidence 4
O1
19.97 s
排名 #87/139 · confidence 4
GPT-4o Mini
领先0.61 s
排名 #23/139 · confidence 4
O1
19.97 s
排名 #120/139 · confidence 4
GPT-4o Mini
66.0 tok/s
排名 #87/139 · confidence 4
O1
领先130.1 tok/s
排名 #41/139 · confidence 4
GPT-4o Mini
领先$0.262/M
排名 #21/163 · confidence 4
O1
$26.25/M
排名 #156/163 · confidence 4
GPT-4o Mini
领先$0.150/M
排名 #21/163 · confidence 4
O1
$15.00/M
排名 #156/163 · confidence 4
GPT-4o Mini
领先$0.600/M
排名 #23/163 · confidence 4
O1
$60.00/M
排名 #156/163 · confidence 4
GPT-4o Mini
64.8%
排名 #112/125 · confidence 4
O1
领先84.1%
排名 #30/125 · confidence 4
GPT-4o Mini
42.6%
排名 #172/187 · confidence 4
O1
领先74.7%
排名 #99/187 · confidence 4
GPT-4o Mini
4.0%
排名 #161/186 · confidence 4
O1
领先7.7%
排名 #107/186 · confidence 4
GPT-4o Mini
23.4%
排名 #101/115 · confidence 4
O1
领先67.9%
排名 #34/115 · confidence 4
GPT-4o Mini
11.4
排名 #56/58 · confidence 1 · 评测日期 2024-07-18
O1
领先34.0
排名 #43/58 · confidence 1 · 评测日期 2024-09-12
GPT-4o Mini
22.9
排名 #94/96 · confidence 1 · 评测日期 2024-07-18
O1
领先35.8
排名 #75/96 · confidence 1 · 评测日期 2024-12-01
GPT-4o Mini
22.9%
排名 #165/184 · confidence 4
O1
领先35.8%
排名 #106/184 · confidence 4
GPT-4o Mini
78.9%
排名 #51/72 · confidence 4
O1
领先97.0%
排名 #13/72 · confidence 4
GPT-4o Mini
11.7%
排名 #55/68 · confidence 4
O1
领先72.3%
排名 #19/68 · confidence 4
GPT-4o Mini
42.6
排名 #95/96 · confidence 1 · 评测日期 2024-07-18
O1
领先74.7
排名 #73/96 · confidence 1 · 评测日期 2024-12-01
GPT-4o Mini
4.0
排名 #89/96 · confidence 1 · 评测日期 2024-07-18
O1
领先7.7
排名 #73/96 · confidence 1 · 评测日期 2024-12-01
GPT-4o Mini
6.9
排名 #97/99 · confidence 1 · 评测日期 2024-07-18
O1
领先17.0
排名 #79/99 · confidence 1 · 评测日期 2024-09-12
GPT-4o Mini
31.0
排名 #84/86 · confidence 1 · 评测日期 2024-07-18
O1
领先70.3
排名 #37/86 · confidence 1 · 评测日期 2024-12-01
来自共同 provider 的最近完成 audit,展示四个安全/完整性分组分数和报告入口。
| Provider | GPT-4o Mini | O1 |
|---|---|---|
| 暂无共同 provider 的已完成 audit。 | ||
把同一 provider 的测速聚合和 input/output 价格放进同一行,便于判断实际 API 表现和迁移成本。
| Provider | GPT-4o Mini | O1 |
|---|---|---|
2 次测试 | GPT-4o Mini speed / latency 83 tok/s / 1341ms input / output 暂无数据 | O1 speed / latency N/A / N/A input / output 暂无数据 |
0 次测试 | GPT-4o Mini speed / latency N/A / N/A input / output 暂无数据 | O1 speed / latency N/A / N/A input / output 暂无数据 |
0 次测试 | GPT-4o Mini speed / latency N/A / N/A input / output 暂无数据 | O1 speed / latency N/A / N/A input / output 暂无数据 |
0 次测试 | GPT-4o Mini speed / latency N/A / N/A input / output 暂无数据 | O1 speed / latency N/A / N/A input / output 暂无数据 |
0 次测试 | GPT-4o Mini speed / latency N/A / N/A input / output 暂无数据 | O1 speed / latency N/A / N/A input / output 暂无数据 |
GPT-4o Mini gpt-4o-mini speed / latency 暂无数据 input / output $0/request | O1 o1-preview-2024-09-12 speed / latency 暂无数据 input / output $5.88/request |
综合加权结果:O1。Benchmark 能力分类占 80%,价格、API 性能和可用性占 20%。