gmi-serving

Name: gmi-serving
Rating: 3.4 (50 reviews)

API提供商当前存在SSL握手失败问题，导致无法建立安全连接。

分类

gmi-serving 目前提供 7 个大模型 API。

速度基准测试平均吞吐 67 tok/s。

平均速度67.32 tok/s

延迟8.26 s

总测试数50

模型数7

更新于4/16/2026

创建时间8/13/2025

支持的模型

模型	速度	延迟	测试数
meta-llama/Llama-4-Scout-17B-16E-Instruct	118.72 tok/s	1.04s	5
deepseek-ai/DeepSeek-V3.1-Terminus	99.15 tok/s	1.13s	5
deepseek-ai/DeepSeek-Prover-V2-671B	80.53 tok/s	1.05s	10
Qwen/Qwen3-235B-A22B-FP8	66.11 tok/s	14.31s	5
deepseek-ai/DeepSeek-R1	58.38 tok/s	11.96s	5
deepseek-ai/DeepSeek-V3-0324	54.86 tok/s	0.97s	10
deepseek-ai/DeepSeek-R1-Distill-Llama-70B	30.03 tok/s	25.08s	10