排行榜
基于模型测速与 Provider 健康检查数据的多维排行榜,对比不同 Provider、端点与稳定性表现。
平均每秒输出的 Token 数,越高越好。
| 排名 | Provider | 模型 | 输出速度 | 平均首字延迟 | 次数 |
|---|---|---|---|---|---|
| 1 | o3-mini-high | 141126.77 t/s 最佳: 190384.25最差: 76217.99 | 79.37s | 5 | |
| 2 | o3-mini-2025-01-31 | 46653.59 t/s 最佳: 91395.50最差: 13978.82 | 14.95s | 10 | |
| 3 |
| BLOOMZ-7B |
875.69 t/s 最佳: 3707.84最差: 115.27 |
2.46s |
| 5 |
| 4 | 0311codelalama:latest | 624.78 t/s 最佳: 688.03最差: 516.51 | 1.58s | 5 |
| 5 | gemini-1.5-flash-8b | 275.08 t/s 最佳: 392.08最差: 168.24 | 1.28s | 10 |
| 6 | deepseek-ai/DeepSeek-R1 | 261.08 t/s 最佳: 394.60最差: 211.83 | 0.62s | 20 |
| 7 | gemini-1.5-flash-latest | 252.88 t/s 最佳: 961.70最差: 152.64 | 1.26s | 10 |
| 8 | gemini-1.5-flash-002 | 239.65 t/s 最佳: 491.56最差: 163.29 | 1.62s | 5 |
| 9 | gemini-2.0-flash-thinking-exp-01-21 | 230.82 t/s 最佳: 283.17最差: 195.73 | 7.47s | 5 |
| 10 | gemini-2.0-flash-thinking-exp | 224.26 t/s 最佳: 254.06最差: 188.25 | 7.53s | 5 |
| 11 | deepseek-r1:1.5b | 217.41 t/s 最佳: 226.59最差: 210.08 | 0.52s | 5 |
| 12 | o3-mini | 212.69 t/s 最佳: 449.71最差: 21.31 | 7.80s | 10 |
| 13 | gemini-ai/gemini-2.0-flash-lite-preview-02-05 | 211.57 t/s 最佳: 432.33最差: 157.24 | 1.63s | 20 |
| 14 | gemini-2.0-flash-thinking-exp-01-21 | 194.98 t/s 最佳: 417.60最差: 125.78 | 2.12s | 5 |
| 15 | gpt-4o-mini | 192.15 t/s 最佳: 511.52最差: 5.12 | 8.99s | 5 |
| 16 | gemini-2.0-flash-lite-preview-02-05 | 188.38 t/s 最佳: 222.97最差: 150.48 | 1.06s | 15 |
| 17 | gemini-1.5-flash-latest | 169.06 t/s 最佳: 203.29最差: 154.83 | 1.02s | 5 |
| 18 | gemini-1.5-flash | 158.26 t/s 最佳: 171.97最差: 147.19 | 0.91s | 5 |
| 19 | gpt-3.5-turbo-1106 | 156.38 t/s 最佳: 159.97最差: 147.56 | 0.82s | 5 |
| 20 | gpt-4o | 147.84 t/s 最佳: 284.02最差: 64.05 | 9.22s | 10 |
| 21 | gpt-3.5-turbo-16k | 145.74 t/s 最佳: 168.81最差: 80.91 | 0.64s | 5 |
| 22 | gpt-3.5-turbo-0613 | 140.29 t/s 最佳: 146.05最差: 129.76 | 0.50s | 5 |
| 23 | gpt-4o | 135.41 t/s 最佳: 193.68最差: 117.01 | 1.43s | 5 |
| 24 | deepseek-r1:7b | 132.96 t/s 最佳: 152.91最差: 117.88 | 13.15s | 5 |
| 25 | gpt-4o-mini-2024-07-18 | 130.72 t/s 最佳: 153.13最差: 91.96 | 0.60s | 5 |
| 26 | gpt-4o | 129.13 t/s 最佳: 801.45最差: 30.42 | 5.78s | 10 |
| 27 | best-free | 128.14 t/s 最佳: 134.92最差: 103.80 | 2.76s | 5 |
| 28 | gpt-4o-2024-11-20 | 127.81 t/s 最佳: 149.68最差: 86.04 | 0.91s | 5 |
| 29 | gemini-2.0-flash | 125.24 t/s 最佳: 139.25最差: 103.13 | 1.07s | 5 |
| 30 | gemini-2.0-flash-exp | 125.02 t/s 最佳: 153.41最差: 103.68 | 1.40s | 5 |
| 31 | gemini-ai/gemini-2.0-flash | 124.50 t/s 最佳: 166.28最差: 94.73 | 1.88s | 50 |
| 32 | gpt-4o-2024-05-13 | 122.74 t/s 最佳: 144.33最差: 102.60 | 1.60s | 5 |
| 33 | gemini-2.0-flash | 122.53 t/s 最佳: 156.09最差: 95.92 | 1.44s | 10 |
| 34 | gemini-2.0-flash | 121.90 t/s 最佳: 164.19最差: 80.06 | 2.23s | 10 |
| 35 | gemini-2.0-flash-thinking-exp-01-21 | 121.89 t/s 最佳: 138.95最差: 109.19 | 1.38s | 5 |
| 36 | gemini-2.0-flash-exp | 121.75 t/s 最佳: 142.66最差: 106.18 | 10.83s | 5 |
| 37 | gpt-3.5-turbo | 121.66 t/s 最佳: 134.38最差: 103.80 | 0.79s | 5 |
| 38 | deepseek-r1:7b | 119.65 t/s 最佳: 141.53最差: 5.79 | 9.09s | 120 |
| 39 | gemini-2.0-flash | 113.79 t/s 最佳: 129.94最差: 100.58 | 0.90s | 5 |
| 40 | deepseek-r1:7b | 109.24 t/s 最佳: 132.73最差: 76.68 | 15.14s | 5 |
| 41 | deepseek-ai/DeepSeek-R1 | 108.28 t/s 最佳: 324.23最差: 20.13 | 2.67s | 15 |
| 42 | gpt-3.5-turbo-16k-0613 | 108.01 t/s 最佳: 160.63最差: 82.92 | 0.73s | 5 |
| 43 | gpt-4o-2024-08-06 | 107.84 t/s 最佳: 117.96最差: 99.92 | 3.23s | 5 |
| 44 | qwen-72b | 102.22 t/s 最佳: 108.02最差: 98.38 | 3.11s | 5 |
| 45 | gpt-4o | 101.73 t/s 最佳: 160.17最差: 80.30 | 1.24s | 10 |
| 46 | gpt-4o-mini | 101.71 t/s 最佳: 143.55最差: 43.03 | 0.68s | 5 |
| 47 | gpt-4o-2024-08-06 | 99.32 t/s 最佳: 135.15最差: 55.08 | 2.37s | 10 |
| 48 | gpt-3.5-turbo-0125 | 98.60 t/s 最佳: 142.27最差: 0.00 | 0.70s | 5 |
| 49 | gpt-4o-mini | 94.27 t/s 最佳: 112.37最差: 84.11 | 1.92s | 5 |
| 50 | gpt-4o-mini | 93.51 t/s 最佳: 115.74最差: 76.91 | 1.08s | 5 |