统一的API网关,通过标准化端点提供对多种大语言模型和AI服务的访问。
| 模型 | 速度 | 延迟 | 测试数 |
|---|---|---|---|
| allam-2-7b | 337.15 t/s | 0.27s | 5 |
| gemini-2.5-flash-lite-ts | 214.83 t/s | 1.17s | 5 |
| lgai/exaone-3-5-32b-instruct | 100.84 t/s | 1.08s | 5 |
| Qwen/Qwen3-32B-FP8 | 75.12 t/s | 1.01s | 5 |
| 时间 | 模型 | 速度 | 延迟 |
|---|---|---|---|
| Aug 9, 08:16 AM | gemini-2.5-flash-lite-ts | 214.83 t/s | 1.17s |
| Aug 9, 08:14 AM | lgai/exaone-3-5-32b-instruct | 100.84 t/s | 1.08s |
| Aug 9, 08:11 AM | Qwen/Qwen3-32B-FP8 | 75.12 t/s | 1.01s |
| Aug 9, 08:10 AM | allam-2-7b | 337.15 t/s | 0.27s |