ngrok 提供统一的 AI 模型网关以及用于开发和生产环境的安全连接解决方案。
| 模型 | 速度 | 延迟 | 测试数 |
|---|---|---|---|
| auto_chat | 26226.28 t/s | 2.31s | 10 |
| QWEN | 24489.11 t/s | 2.40s | 5 |
| CEREBRAS | 1473.52 t/s | 3.54s | 5 |
| 时间 | 模型 | 速度 | 延迟 |
|---|---|---|---|
| Sep 23, 03:16 PM | CEREBRAS | 1473.52 t/s | 3.54s |
| Sep 23, 03:07 PM | QWEN | 24489.11 t/s | 2.40s |
| Sep 23, 03:06 PM | auto_chat | 26318.21 t/s | 2.23s |
| Sep 23, 03:06 PM | auto_chat | 26134.35 t/s | 2.39s |