GPT Load (Shiho)

GPT Load 是一个 OpenAI 兼容的 API 负载均衡服务，将请求分发到多个 AI 模型提供商。

分类

Llama3 1 Llama 4 Scout 16e Instruct Qwen 3 Coder Llama 3 3 GPT-OSS Llama 4 Maverick 128e Instruct Qwen 3 Instruct Qwen 3 Gemini 2.5 Flash

GPT Load (Shiho) 目前提供 10 个大模型 API。

速度基准测试平均吞吐 961 tok/s。

GPT Load (Shiho) 是一个 API 聚合平台，提供来自多个供应商的模型。

GPT Load (Shiho) interface preview

平均速度960.66 tok/s

延迟1.12 s

总测试数55

模型数10

更新于4/16/2026

创建时间12/7/2025

API 地址

gpt-load.shiho.top

支持的模型

模型	速度	延迟	测试数
llama3.1-8b	1976.01 tok/s	0.35s	10
llama-4-scout-17b-16e-instruct	937.94 tok/s	0.36s	5
qwen-3-coder-480b	894.38 tok/s	0.35s	5
llama-3.3-70b	890.30 tok/s	0.51s	5
gpt-oss-120b	846.32 tok/s	0.70s	5
llama-4-maverick-17b-128e-instruct	825.70 tok/s	0.41s	5
qwen-3-235b-a22b-instruct-2507	754.92 tok/s	0.45s	5
qwen-3-32b	705.04 tok/s	0.40s	5
qwen-3-235b-a22b-thinking-2507	579.82 tok/s	0.44s	5
models/gemini-2.5-flash	180.81 tok/s	7.98s	5