数据点: 76
Model compare
GPT-3.5 Turbo vs O1
GPT-3.5 Turbo 和 O1 的结论先放在这里，方便先判断是否值得继续看明细。
Key Takeaways
综合加权结果：O1。Benchmark 能力分类占 80%，价格、API 性能和可用性占 20%。
结论
O1
O1 当前综合加权更高；模型 A / B 得分为 20 对 80。
证据覆盖
76 个数据点
包含 6 个 benchmark、0 个 audit 样本和 10 个 provider 样本。
选择依据
优先看 O1
下方图表把 16 组高信号样本拆开，便于核对速度、跑分和安全分。
切换对比模型
左右两边都可以换成其他模型，页面会打开新的 LMSpeed 对比 URL。
选择其他模型后会打开新的对比页。
对比总表
这份报告只使用 LMSpeed 已有数据：GPT-3.5 Turbo 和 O1 的价格、测速聚合、第三方跑分与共同服务商样本。
| Model compare | GPT-3.5 Turbo | O1 |
|---|---|---|
| 综合领先 | 对照 | 领先 |
| 综合加权得分 | 20.0 分 | 80.0 分 |
| Benchmark 分类领先 | 0 类 | 3 类 |
| 运营维度优势 | 最低输入价格、免费服务商、服务商覆盖 | 暂无数据 |
| 上下文窗口 | 16.4K tokens | 200K tokens |
| 最大输出 | 4.1K tokens | 100K tokens |
| 模态 | 输入 文本 输出 文本 | 输入 文本图像文件 输出 文本 |
| 能力 | 文本输入文本输出工具调用结构化输出JSON 模式 | 文本输入图像输入文件输入文本输出工具调用结构化输出JSON 模式推理 |
总体结果按 80% benchmark 能力分类和 20% 价格、API 速度/延迟与可用性加权；近期测试数量不参与胜负，缺失的 benchmark 分类不计分。
模型元信息
模型元信息
| Model compare | GPT-3.5 Turbo | O1 |
|---|---|---|
| 开发者 | OpenAI | OpenAI |
| 发布日期 | 2024年1月 | 2024年12月 |
| 参数量 | 暂无数据 | 暂无数据 |
| Tokenizer | GPT | GPT |
| 知识截止 | 2021-09-30 | 2023-10-31 |
| OpenRouter ID | openai/gpt-3.5-turbo | openai/o1 |
| 来源链接 | 暂无数据 | 暂无数据 |
什么时候选哪个模型
这份报告只使用 LMSpeed 已有数据：GPT-3.5 Turbo 和 O1 的价格、测速聚合、第三方跑分与共同服务商样本。
GPT-3.5 Turbo
GPT-3.5 Turbo 的运营优势是：最低输入价格、免费服务商、服务商覆盖。
O1
O1 在 benchmark 分类中领先：代码、推理、数学。
跑分对比
来自 LMSpeed 同步的第三方 benchmark profile；只展示两个模型都有数值的指标。
分类能力对比
按 0-100 分对比 benchmark 分类表现；点击分类可以聚焦查看差距。
- 模型 A 覆盖
- 3 / 8
- 模型 B 覆盖
- 6 / 8
- 共同覆盖
- 3 个共同分类
平均分
GPT-3.5 Turbo
38.2
平均分
O1
51.8
Agents
O1
代码
O1 领先 5.0
推理
O1 领先 17.1
知识
O1
数学
O1 领先 14.7
多语言
暂无数据
多模态
暂无数据
指令遵循
O1
专业跑分明细
按具体 benchmark 指标对比两个模型，展示来源、排名覆盖、置信度、误差和评测日期等上下文。
专业跑分明细
按具体 benchmark 指标对比两个模型，展示来源、排名覆盖、置信度、误差和评测日期等上下文。
GPT-3.5 Turbo
领先$1.50/M
排名 #63/185 · confidence 4
O1
$60.00/M
排名 #178/185 · confidence 4
GPT-3.5 Turbo
领先$0.750/M
排名 #71/185 · confidence 4
O1
$26.25/M
排名 #178/185 · confidence 4
GPT-3.5 Turbo
领先$0.500/M
排名 #83/185 · confidence 4
O1
$15.00/M
排名 #178/185 · confidence 4
GPT-3.5 Turbo
46.2%
排名 #128/129 · confidence 4
O1
领先84.1%
排名 #34/129 · confidence 4
GPT-3.5 Turbo
29.7%
排名 #216/217 · confidence 4
O1
领先74.7%
排名 #124/217 · confidence 4
GPT-3.5 Turbo
44.1%
排名 #70/73 · confidence 4
O1
领先97.0%
排名 #13/73 · confidence 4
API audit 对比
来自共同 provider 的最近完成 audit，展示四个安全/完整性分组分数和报告入口。
API audit 对比
来自共同 provider 的最近完成 audit，展示四个安全/完整性分组分数和报告入口。
| Provider | GPT-3.5 Turbo | O1 |
|---|---|---|
| 暂无共同 provider 的已完成 audit。 | ||
Provider 数据样本
把同一 provider 的测速聚合和 input/output 价格放进同一行，便于判断实际 API 表现和迁移成本。
Provider 数据样本
把同一 provider 的测速聚合和 input/output 价格放进同一行，便于判断实际 API 表现和迁移成本。
| Provider | GPT-3.5 Turbo | O1 |
|---|---|---|
EasyMore5 次测试 | GPT-3.5 Turbo speed / latency 54 tok/s / 9591ms input / output 暂无数据 | O1 speed / latency N/A / N/A input / output 暂无数据 |
42公益站0 次测试 | GPT-3.5 Turbo speed / latency N/A / N/A input / output 暂无数据 | O1 speed / latency N/A / N/A input / output 暂无数据 |
AAAI0 次测试 | GPT-3.5 Turbo speed / latency N/A / N/A input / output 暂无数据 | O1 speed / latency N/A / N/A input / output 暂无数据 |
AASS API0 次测试 | GPT-3.5 Turbo speed / latency N/A / N/A input / output 暂无数据 | O1 speed / latency N/A / N/A input / output 暂无数据 |
AI API0 次测试 | GPT-3.5 Turbo speed / latency N/A / N/A input / output 暂无数据 | O1 speed / latency N/A / N/A input / output 暂无数据 |
GPT-3.5 Turbo gpt-3.5-turbo-0613 speed / latency 暂无数据 input / output $0/request | O1 o1-2024-12-17 speed / latency 暂无数据 input / output $0/request | |
GPT-3.5 Turbo gpt-3.5-turbo-0125 speed / latency 暂无数据 input / output $0.021/M/$0.062/M | O1 o1-preview-2024-09-12 speed / latency 暂无数据 input / output $0.616/M/$2.47/M | |
GPT-3.5 Turbo gpt-3.5-turbo-1106 speed / latency 暂无数据 input / output $0.024/M/$0.048/M | O1 o1 speed / latency 暂无数据 input / output $0.360/M/$1.44/M | |
GPT-3.5 Turbo gpt-3.5-turbo-1106 speed / latency 暂无数据 input / output $0.024/M/$0.048/M | O1 o1 speed / latency 暂无数据 input / output $0.360/M/$1.44/M | |
GPT-3.5 Turbo gpt-3.5-turbo-1106 speed / latency 暂无数据 input / output $0.024/M/$0.048/M | O1 o1-preview-2024-09-12 speed / latency 暂无数据 input / output $0.360/M/$1.44/M |
FAQ
综合加权结果：O1。Benchmark 能力分类占 80%，价格、API 性能和可用性占 20%。
- 这个比较为什么能收录？
- 它至少有 4 个可验证比较点，并且两个模型都有价格或测速数据。
- 没有数据的指标会不会编？
- 不会。没有 LMSpeed 数据的指标不会出现在这份报告里。