这项检测怎么跑
LLM 延迟稳定性检测会重复同一请求，再对比延迟。稳定延迟更像单一上游。波动很大，可能是排队、多跳或换模。
01探测
在同一个接口上重复同一请求。
02检查
对比这些重复请求的首 Token 延迟。
03判定
波动大到像排队、多跳或换模时，记为不稳定。
- 结果怎么看
- 一次很快的回复，可能藏着更慢的备用路径。这是稳定性信号，不是吞吐量排名。
- 什么时候该跑这一项
- 回答有时瞬间出来、有时卡住时用这项。单次测速会漏掉这种摆动。
最近报告
包含这项检测的公开报告。
常见问题
LLM 延迟稳定性检测看什么？
它会重复同一请求，看延迟变化有多大。重点是稳不稳，不是一次碰巧很快。
波动很大可能说明什么？
可能是排队、多路由、冷启动或静默换模。这是信号，不是完整根因报告。
这和速度基准测试是一回事吗？
不是。速度测试看吞吐和首字延迟。这项检测看这些延迟在重复请求里稳不稳。