数据点: 83
Model compare
Claude 3.5 Sonnet 和 GPT-4o 的结论先放在这里,方便先判断是否值得继续看明细。
综合加权结果:Claude 3.5 Sonnet。Benchmark 能力分类占 80%,价格、API 性能和可用性占 20%。
结论
Claude 3.5 Sonnet
Claude 3.5 Sonnet 当前综合加权更高;模型 A / B 得分为 57.3 对 42.7。
证据覆盖
83 个数据点
包含 13 个 benchmark、0 个 audit 样本和 8 个 provider 样本。
选择依据
优先看 Claude 3.5 Sonnet
下方图表把 21 组高信号样本拆开,便于核对速度、跑分和安全分。
左右两边都可以换成其他模型,页面会打开新的 LMSpeed 对比 URL。
选择其他模型后会打开新的对比页。
这份报告只使用 LMSpeed 已有数据:Claude 3.5 Sonnet 和 GPT-4o 的价格、测速聚合、第三方跑分与共同服务商样本。
| Model compare | Claude 3.5 Sonnet | GPT-4o |
|---|
| 综合领先 | 领先 | 对照 |
|---|---|---|
| 综合加权得分 | 57.3 分 | 42.7 分 |
| Benchmark 分类领先 | 2 类 | 1 类 |
| 运营维度优势 | 首 token 延迟 | 最低输入价格、平均速度、免费服务商、服务商覆盖 |
| 上下文窗口 | 暂无数据 | 128K tokens |
| 最大输出 | 暂无数据 | 16.4K tokens |
| 模态 | 暂无数据 | 输入 文本图像文件 输出 文本 |
总体结果按 80% benchmark 能力分类和 20% 价格、API 速度/延迟与可用性加权;近期测试数量不参与胜负,缺失的 benchmark 分类不计分。
| Model compare | Claude 3.5 Sonnet | GPT-4o |
|---|---|---|
| 开发者 | Anthropic | OpenAI |
| 发布日期 | 暂无数据 | 2024年11月 |
| 参数量 | 暂无数据 | 暂无数据 |
| Tokenizer | 暂无数据 | GPT |
| 知识截止 | 暂无数据 | 2023-10-31 |
| OpenRouter ID | 暂无数据 | openai/gpt-4o |
| 来源链接 | 暂无数据 | 暂无数据 |
这份报告只使用 LMSpeed 已有数据:Claude 3.5 Sonnet 和 GPT-4o 的价格、测速聚合、第三方跑分与共同服务商样本。
Claude 3.5 Sonnet
Claude 3.5 Sonnet 在 benchmark 分类(推理、数学)和运营维度(首 token 延迟)更强。
GPT-4o
GPT-4o 在 benchmark 分类(代码)和运营维度(最低输入价格、平均速度、免费服务商、服务商覆盖)更强。
来自 LMSpeed 同步的第三方 benchmark profile;只展示两个模型都有数值的指标。
按 0-100 分对比 benchmark 分类表现;点击分类可以聚焦查看差距。
平均分
Claude 3.5 Sonnet
41.4
平均分
GPT-4o
43.2
GPT-4o
GPT-4o 领先 9.9
Claude 3.5 Sonnet 领先 4.4
GPT-4o
Claude 3.5 Sonnet 领先 0.7
暂无数据
暂无数据
GPT-4o
按具体 benchmark 指标对比两个模型,展示来源、排名覆盖、置信度、误差和评测日期等上下文。
Claude 3.5 Sonnet
领先44.0
排名 #72/84 · confidence 1 · 评测日期 2024-06-01
GPT-4o
43.0
排名 #76/84 · confidence 1 · 评测日期 2024-05-13
Claude 3.5 Sonnet
$15.00/M
排名 #136/162 · confidence 4
GPT-4o
领先$10.00/M
排名 #120/162 · confidence 4
Claude 3.5 Sonnet
$6.00/M
排名 #137/162 · confidence 4
GPT-4o
领先$4.38/M
排名 #127/162 · confidence 4
Claude 3.5 Sonnet
$3.00/M
排名 #137/162 · confidence 4
GPT-4o
领先$2.50/M
排名 #131/162 · confidence 4
Claude 3.5 Sonnet
领先77.2%
排名 #78/125 · confidence 4
GPT-4o
74.8%
排名 #90/125 · confidence 4
Claude 3.5 Sonnet
领先59.9%
排名 #141/188 · confidence 4
GPT-4o
54.3%
排名 #156/188 · confidence 4
Claude 3.5 Sonnet
领先3.9%
排名 #165/187 · confidence 4
GPT-4o
3.3%
排名 #180/187 · confidence 4
Claude 3.5 Sonnet
领先38.1%
排名 #77/115 · confidence 4
GPT-4o
30.9%
排名 #88/115 · confidence 4
Claude 3.5 Sonnet
领先36.6%
排名 #100/185 · confidence 4
GPT-4o
33.3%
排名 #120/185 · confidence 4
Claude 3.5 Sonnet
领先2.1
排名 #43/47 · confidence 1 · 评测日期 2024-06-01
GPT-4o
0.3
排名 #47/47 · confidence 1 · 评测日期 2024-05-13
Claude 3.5 Sonnet
领先15.7%
排名 #49/68 · confidence 4
GPT-4o
15.0%
排名 #50/68 · confidence 4
Claude 3.5 Sonnet
领先25.9
排名 #52/56 · confidence 1 · 评测日期 2024-06-01
GPT-4o
25.4
排名 #54/56 · confidence 1 · 评测日期 2024-05-13
Claude 3.5 Sonnet
领先77.1%
排名 #54/74 · confidence 4
GPT-4o
75.9%
排名 #56/74 · confidence 4
来自共同 provider 的最近完成 audit,展示四个安全/完整性分组分数和报告入口。
| Provider | Claude 3.5 Sonnet | GPT-4o |
|---|---|---|
| 暂无共同 provider 的已完成 audit。 | ||
把同一 provider 的测速聚合和 input/output 价格放进同一行,便于判断实际 API 表现和迁移成本。
| Provider | Claude 3.5 Sonnet | GPT-4o |
|---|---|---|
15 次测试 | Claude 3.5 Sonnet speed / latency 31 tok/s / 3217ms input / output 暂无数据 | GPT-4o speed / latency 99 tok/s / 2367ms input / output 暂无数据 |
10 次测试 | Claude 3.5 Sonnet speed / latency 39 tok/s / 4753ms input / output 暂无数据 | GPT-4o speed / latency 135 tok/s / 1427ms input / output 暂无数据 |
3 次测试 | Claude 3.5 Sonnet speed / latency N/A / N/A input / output 暂无数据 | GPT-4o speed / latency 40 tok/s / 2993ms input / output 暂无数据 |
0 次测试 | Claude 3.5 Sonnet speed / latency N/A / N/A input / output 暂无数据 | GPT-4o speed / latency N/A / N/A input / output 暂无数据 |
0 次测试 | Claude 3.5 Sonnet speed / latency N/A / N/A input / output 暂无数据 | GPT-4o speed / latency N/A / N/A input / output 暂无数据 |
Claude 3.5 Sonnet claude-3-5-sonnet-20240620 speed / latency 暂无数据 input / output $0.0086/M/$0.043/M | GPT-4o gpt-4o speed / latency 暂无数据 input / output $0.714/M | |
Claude 3.5 Sonnet claude-3-5-sonnet-all speed / latency 暂无数据 input / output $0.011/request | GPT-4o gpt-4o-2024-05-13 speed / latency 暂无数据 input / output $5.00/M | |
Claude 3.5 Sonnet claude-3-5-sonnet-all speed / latency 暂无数据 input / output $0.0088/request | GPT-4o gpt-4o-2024-05-13 speed / latency 暂无数据 input / output $5.00/M |
综合加权结果:Claude 3.5 Sonnet。Benchmark 能力分类占 80%,价格、API 性能和可用性占 20%。
| 能力 | 暂无 | 文本输入图像输入文件输入文本输出工具调用结构化输出JSON 模式联网搜索 |
|---|