返回模型目录

Model compare

GPT-4o vs O1

GPT-4o 和 O1 的结论先放在这里,方便先判断是否值得继续看明细。

Key Takeaways

综合加权结果:O1。Benchmark 能力分类占 80%,价格、API 性能和可用性占 20%。

结论

O1

O1 当前综合加权更高;模型 A / B 得分为 20 对 80。

证据覆盖

104 个数据点

包含 20 个 benchmark、0 个 audit 样本和 10 个 provider 样本。

选择依据

优先看 O1

下方图表把 30 组高信号样本拆开,便于核对速度、跑分和安全分。

切换对比模型

左右两边都可以换成其他模型,页面会打开新的 LMSpeed 对比 URL。

选择其他模型后会打开新的对比页。

对比总表

这份报告只使用 LMSpeed 已有数据:GPT-4o 和 O1 的价格、测速聚合、第三方跑分与共同服务商样本。

Model compare
GPT-4o
O1
综合领先对照领先
综合加权得分20.0 分80.0 分
Benchmark 分类领先0 类6 类
运营维度优势最低输入价格、免费服务商、服务商覆盖暂无数据
上下文窗口128K tokens200K tokens
最大输出16.4K tokens100K tokens
模态

输入

文本图像文件

输出

文本

输入

文本图像文件

输出

文本
能力
文本输入图像输入文件输入文本输出工具调用结构化输出JSON 模式联网搜索
文本输入图像输入文件输入文本输出工具调用结构化输出JSON 模式推理

总体结果按 80% benchmark 能力分类和 20% 价格、API 速度/延迟与可用性加权;近期测试数量不参与胜负,缺失的 benchmark 分类不计分。

模型元信息

Model compare
GPT-4o
O1
开发者OpenAIOpenAI
发布日期2024年11月2024年12月
参数量暂无数据暂无数据
TokenizerGPTGPT
知识截止2023-10-312023-10-31
OpenRouter IDopenai/gpt-4oopenai/o1
来源链接暂无数据暂无数据

什么时候选哪个模型

这份报告只使用 LMSpeed 已有数据:GPT-4o 和 O1 的价格、测速聚合、第三方跑分与共同服务商样本。

GPT-4o

GPT-4o 的运营优势是:最低输入价格、免费服务商、服务商覆盖。

O1

O1 在 benchmark 分类中领先:Agents、代码、推理、知识、数学。

跑分对比

来自 LMSpeed 同步的第三方 benchmark profile;只展示两个模型都有数值的指标。

分类能力对比

按 0-100 分对比 benchmark 分类表现;点击分类可以聚焦查看差距。

模型 A 覆盖
6 / 8
模型 B 覆盖
6 / 8
共同覆盖
6 个共同分类

平均分

GPT-4o

43

平均分

O1

52.3

Agents

O1 领先 6.6

GPT-4o39
O145.6

代码

O1 领先 4.6

GPT-4o46
O150.6

推理

O1 领先 10.8

GPT-4o39.9
O150.7

知识

O1 领先 13.5

GPT-4o49
O162.5

数学

O1 领先 10.4

GPT-4o42.2
O152.6

多语言

暂无数据

GPT-4o-
O1-

多模态

暂无数据

GPT-4o-
O1-

指令遵循

O1 领先 9.9

GPT-4o41.6
O151.5

专业跑分明细

按具体 benchmark 指标对比两个模型,展示来源、排名覆盖、置信度、误差和评测日期等上下文。

价格verified

Output price

GPT-4o

领先

$10.00/M

排名 #139/181 · confidence 4

+$50.00/M

O1

$60.00/M

排名 #174/181 · confidence 4

价格verified

Blended price

GPT-4o

领先

$4.38/M

排名 #146/181 · confidence 4

+$21.88/M

O1

$26.25/M

排名 #174/181 · confidence 4

价格verified

Input price

GPT-4o

领先

$2.50/M

排名 #151/181 · confidence 4

+$12.50/M

O1

$15.00/M

排名 #174/181 · confidence 4

推理verified

MMLU-Pro

GPT-4o

74.8%

排名 #90/129 · confidence 4

+9.3%

O1

领先

84.1%

排名 #34/129 · confidence 4

推理verified

GPQA

GPT-4o

54.3%

排名 #179/213 · confidence 4

+20.4%

O1

领先

74.7%

排名 #120/213 · confidence 4

推理verified

HLE

GPT-4o

2.4%

排名 #208/210 · confidence 4

+4.6%

O1

领先

7.0%

排名 #136/210 · confidence 4

代码verified

LiveCodeBench

GPT-4o

30.9%

排名 #88/115 · confidence 4

+37.0%

O1

领先

67.9%

排名 #34/115 · confidence 4

代码reported

AA-SciCode

来源GPT-4o

GPT-4o

33.3

排名 #91/108 · confidence 1 · 评测日期 2024-05-13

+2.5

O1

领先

35.8

排名 #86/108 · confidence 1 · 评测日期 2024-12-01

代码verified

SciCode

GPT-4o

33.3%

排名 #138/206 · confidence 4

+2.5%

O1

领先

35.8%

排名 #124/206 · confidence 4

数学verified

MATH-500

GPT-4o

75.9%

排名 #55/73 · confidence 4

+21.1%

O1

领先

97.0%

排名 #13/73 · confidence 4

数学verified

AIME

GPT-4o

15.0%

排名 #50/68 · confidence 4

+57.3%

O1

领先

72.3%

排名 #19/68 · confidence 4

数学reported

FrontierMath v2 (Tiers 1-3)

来源GPT-4o

GPT-4o

0.3

排名 #47/47 · confidence 1 · 评测日期 2024-05-13

+9.0

O1

领先

9.3

排名 #34/47 · confidence 1 · 评测日期 2024-12-01

数学reported

BenchLM Math score

来源GPT-4o

GPT-4o

25.2

排名 #60/62 · confidence 1 · 评测日期 2024-05-13

+7.4

O1

领先

32.6

排名 #48/62 · confidence 1 · 评测日期 2024-12-01

知识reported

AA-Omniscience Accuracy

来源GPT-4o

GPT-4o

19.9

排名 #86/101 · confidence 1 · 评测日期 2024-05-13

+14.6

O1

领先

34.5

排名 #43/101 · confidence 1 · 评测日期 2024-12-01

知识reported

AA-Omniscience Hallucination Rate

来源GPT-4o

GPT-4o

37.9

排名 #86/101 · confidence 1 · 评测日期 2024-05-13

+31.7

O1

领先

69.6

排名 #54/101 · confidence 1 · 评测日期 2024-12-01

知识reported

AA-GPQA Diamond

来源GPT-4o

GPT-4o

54.3

排名 #102/108 · confidence 1 · 评测日期 2024-05-13

+20.4

O1

领先

74.7

排名 #84/108 · confidence 1 · 评测日期 2024-12-01

知识reported

AA-HLE

来源GPT-4o

GPT-4o

2.4

排名 #108/108 · confidence 1 · 评测日期 2024-05-13

+4.6

O1

领先

7.0

排名 #85/108 · confidence 1 · 评测日期 2024-12-01

知识reported

Artificial Analysis Intelligence Index

来源GPT-4o

GPT-4o

11.1

排名 #101/111 · confidence 1 · 评测日期 2024-05-13

+6.1

O1

领先

17.2

排名 #90/111 · confidence 1 · 评测日期 2024-09-12

指令遵循reported

AA-IFBench

来源GPT-4o

GPT-4o

34.3

排名 #80/84 · confidence 1 · 评测日期 2024-05-13

+36.0

O1

领先

70.3

排名 #35/84 · confidence 1 · 评测日期 2024-12-01

Agentsreported

τ²-bench results

来源GPT-4o

GPT-4o

25.1

排名 #73/82 · confidence 1 · 评测日期 2024-05-13

+37.5

O1

领先

62.6

排名 #61/82 · confidence 1 · 评测日期 2024-12-01

API audit 对比

来自共同 provider 的最近完成 audit,展示四个安全/完整性分组分数和报告入口。

Provider
GPT-4o
O1
暂无共同 provider 的已完成 audit。

Provider 数据样本

把同一 provider 的测速聚合和 input/output 价格放进同一行,便于判断实际 API 表现和迁移成本。

Provider
GPT-4o
O1
速创API20 次测试

GPT-4o

speed / latency

88 tok/s / 1593ms

input / output

暂无数据

O1

speed / latency

N/A / N/A

input / output

暂无数据

KFCV505 次测试

GPT-4o

speed / latency

48 tok/s / 13138ms

input / output

暂无数据

O1

speed / latency

N/A / N/A

input / output

暂无数据

YUNWU API5 次测试

GPT-4o

speed / latency

58 tok/s / 2583ms

input / output

暂无数据

O1

speed / latency

N/A / N/A

input / output

暂无数据

ZEN-AI VIP3 次测试

GPT-4o

speed / latency

40 tok/s / 2993ms

input / output

暂无数据

O1

speed / latency

N/A / N/A

input / output

暂无数据

42公益站0 次测试

GPT-4o

speed / latency

N/A / N/A

input / output

暂无数据

O1

speed / latency

N/A / N/A

input / output

暂无数据

GPT-4o

gpt-4o-all

speed / latency

暂无数据

input / output

$0/request

O1

o1-2024-12-17

speed / latency

暂无数据

input / output

$0/request

GPT-4o

gpt-4o-all

speed / latency

暂无数据

input / output

$0.0066/request

O1

o1-preview-all

speed / latency

暂无数据

input / output

$0.033/request

GPT-4o

gpt-4o-all

speed / latency

暂无数据

input / output

$0.0066/request

O1

o1-preview-all

speed / latency

暂无数据

input / output

$0.033/request

GPT-4o

gpt-4o-all-c

speed / latency

暂无数据

input / output

$0.0074/request

O1

o1-all

speed / latency

暂无数据

input / output

$0.062/request

GPT-4o

gpt-4o-all

speed / latency

暂无数据

input / output

$0.0099/request

O1

o1-preview-all

speed / latency

暂无数据

input / output

$0.049/request

FAQ

综合加权结果:O1。Benchmark 能力分类占 80%,价格、API 性能和可用性占 20%。

这个比较为什么能收录?
它至少有 4 个可验证比较点,并且两个模型都有价格或测速数据。
没有数据的指标会不会编?
不会。没有 LMSpeed 数据的指标不会出现在这份报告里。

排名基于社区提交的测试数据与定期健康探测,仅供参考,非官方数据。