integrate.api.nvidia.comintegrate.api.nvidia.com
排行榜
基于模型测速与 Provider 健康检查数据的多维排行榜，对比不同 Provider、端点与稳定性表现。
生成首个 Token 的平均时间，越低越好。
| 排名 | Provider | 模型 | 首字延迟 | 平均输出速度 | 次数 |
|---|---|---|---|---|---|
| 1 | google/gemma-3-27b-it | 0.20 s 最佳: 0.15最差: 0.29 | 62.41t/s | 5 | |
| 2 | 01-ai/yi-large | 0.22 s 最佳: 0.19最差: 0.32 | 43.74t/s | 5 | |
| 3 |
| mistralai/mixtral-8x22b-instruct-v0.1 |
0.22 s 最佳: 0.18最差: 0.33 |
89.66t/s |
| 5 |
| 4 | nvidia/llama-3.1-nemotron-70b-instruct | 0.23 s 最佳: 0.16最差: 0.40 | 52.19t/s | 5 |
| 5 | meta/llama-3.1-70b-instruct | 0.23 s 最佳: 0.17最差: 0.40 | 51.18t/s | 5 |
| 6 | google/gemma-2-27b-it | 0.24 s 最佳: 0.21最差: 0.33 | 43.90t/s | 5 |
| 7 | glm-z1-flash | 0.25 s 最佳: 0.20最差: 0.33 | 133.79t/s | 5 |
| 8 | allam-2-7b | 0.27 s 最佳: 0.23最差: 0.30 | 337.15t/s | 5 |
| 9 | ai21labs/jamba-1.5-large-instruct | 0.29 s 最佳: 0.23最差: 0.49 | 55.60t/s | 10 |
| 10 | Qwen/Qwen3-Coder-30B-A3B-Instruct-FP8 | 0.36 s 最佳: 0.31最差: 0.54 | 89.43t/s | 5 |
| 11 | google/gemini-2.0-flash-exp | 0.39 s 最佳: -最差: 3.58 | 26.25t/s | 70 |
| 12 | moonshotai/kimi-k2-instruct | 0.40 s 最佳: 0.32最差: 0.57 | 38.32t/s | 5 |
| 13 | glm-4-flash | 0.44 s 最佳: 0.29最差: 0.76 | 34.60t/s | 10 |
| 14 | mistral-medium-latest | 0.45 s 最佳: 0.38最差: 0.64 | 62.82t/s | 5 |
| 15 | mistral-medium-latest | 0.45 s 最佳: 0.38最差: 0.64 | 62.82t/s | 5 |
| 16 | microsoft/phi-4-mini-flash-reasoning | 0.46 s 最佳: 0.32最差: 0.94 | 74.19t/s | 5 |
| 17 | gpt-4.1-2025-04-14 | 0.48 s 最佳: 0.43最差: 0.53 | 102.12t/s | 5 |
| 18 | mistralai/mistral-small-24b-instruct | 0.49 s 最佳: 0.36最差: 0.99 | 29.68t/s | 10 |
| 19 | gemini-2.5-flash-lite | 0.52 s 最佳: 0.48最差: 0.55 | 335.31t/s | 5 |
| 20 | command-a-03-2025 | 0.52 s 最佳: 0.42最差: 0.87 | 120.65t/s | 5 |
| 21 | microsoft/phi-3-medium-128k-instruct | 0.53 s 最佳: 0.39最差: 1.02 | 18.27t/s | 5 |
| 22 | Qwen/Qwen2-7B-Instruct | 0.53 s 最佳: 0.49最差: 0.56 | 63.29t/s | 5 |
| 23 | qwen/qwen3-coder | 0.56 s 最佳: -最差: 3.12 | 12.98t/s | 25 |
| 24 | THUDM/glm-4-9b-chat | 0.56 s 最佳: 0.52最差: 0.68 | 77.52t/s | 5 |
| 25 | deepseek-ai/deepseek-r1-distill-qwen-32b | 0.59 s 最佳: 0.43最差: 1.21 | 33.97t/s | 5 |
| 26 | gemini-2.5-flash-lite-preview-06-17 | 0.61 s 最佳: 0.56最差: 0.67 | 401.84t/s | 5 |
| 27 | QwQ-32B | 0.63 s 最佳: 0.59最差: 0.70 | 33.29t/s | 5 |
| 28 | zhipu/glm-4v-flash | 0.68 s 最佳: 0.29最差: 2.12 | 54.39t/s | 5 |
| 29 | qwen3-coder-30b-a3b-instruct | 0.69 s 最佳: 0.50最差: 1.16 | 112.76t/s | 5 |
| 30 | Qwen/Qwen3-235B-A22B-Instruct-2507-FP8 | 0.70 s 最佳: 0.63最差: 0.74 | 63.17t/s | 5 |
| 31 | zhipu/glm-4-flash | 0.72 s 最佳: 0.40最差: 24.43 | 35.72t/s | 1320 |
| 32 | gpt-5-chat | 0.74 s 最佳: 0.62最差: 0.85 | 131.48t/s | 5 |
| 33 | Qwen/Qwen3-235B-A22B-Instruct-2507 | 0.75 s 最佳: 0.65最差: 0.86 | 15.82t/s | 5 |
| 34 | DeepSeek-v3 | 0.78 s 最佳: 0.32最差: 1.62 | 35.13t/s | 20 |
| 35 | deepseek-ai/DeepSeek-V2.5 | 0.79 s 最佳: 0.69最差: 0.89 | 15.00t/s | 5 |
| 36 | evil | 0.81 s 最佳: 0.27最差: 2.58 | 1475.97t/s | 25 |
| 37 | gemini-2.5-flash-nothinking | 0.82 s 最佳: 0.65最差: 1.25 | 174.04t/s | 5 |
| 38 | moonshotai/kimi-k2 | 0.82 s 最佳: -最差: 3.53 | 10.61t/s | 60 |
| 39 | gpt-4.1-nano | 0.82 s 最佳: 0.52最差: 1.12 | 132.11t/s | 5 |
| 40 | tongyi-intent-detect-v3 | 0.86 s 最佳: 0.60最差: 1.78 | 91.73t/s | 5 |
| 41 | qwen/qwen2.5-7b | 0.87 s 最佳: 0.67最差: 0.98 | 29.15t/s | 5 |
| 42 | zhipu/glm-4-9b | 0.87 s 最佳: 0.69最差: 1.26 | 71.74t/s | 5 |
| 43 | DeepSeek-R1-昇腾版 | 0.88 s 最佳: 0.57最差: 1.20 | 19.41t/s | 5 |
| 44 | openai/gpt-oss-120b | 0.92 s 最佳: 0.65最差: 1.12 | 225.67t/s | 5 |
| 45 | openai/gpt-oss-120b | 0.92 s 最佳: 0.65最差: 1.12 | 225.67t/s | 5 |
| 46 | gpt-5-chat-latest | 0.95 s 最佳: 0.78最差: 1.30 | 113.81t/s | 10 |
| 47 | qwen-plus-latest | 0.95 s 最佳: 0.67最差: 1.84 | 30.78t/s | 10 |
| 48 | zai-org/GLM-4.5-Air | 0.95 s 最佳: 0.81最差: 1.08 | 26.04t/s | 5 |
| 49 | gpt-4.1-nano-2025-04-14 | 0.95 s 最佳: 0.58最差: 1.50 | 104.17t/s | 5 |
| 50 | minicpm4-8b:latest | 0.96 s 最佳: 0.40最差: 3.18 | 159.84t/s | 5 |
