
提供基于Cerebras硬件的AI推理和训练API,支持大规模模型部署。
分类
Cerebras 目前提供 5 个大模型 API。
速度基准测试平均吞吐 1216 tok/s。
Cerebras 是一个 API 聚合平台,提供来自多个供应商的模型。

| 时间 | 模型 | 速度 | 延迟 |
|---|---|---|---|
| Jan 13, 04:32 PM | zai-glm-4.7 | 400.04 tok/s | 3.57s |
| Dec 25, 02:21 PM | qwen-3-235b-a22b-instruct-2507 | 722.60 tok/s | 12.10s |
| Dec 25, 02:12 PM | qwen-3-235b-a22b-instruct-2507 | 737.18 tok/s | 12.09s |
| Dec 25, 02:06 PM | llama3.1-8b | 2142.09 tok/s | 0.19s |
| Dec 25, 02:06 PM | gpt-oss-120b | 1920.13 tok/s | 0.54s |
| Dec 25, 02:02 PM | llama-3.3-70b | 1374.74 tok/s | 0.25s |