运行完整 13 步 audit

延迟波动

检查 LLM 延迟波动

反复探测可以看出这个接口是不是单一稳定上游。

这项检测怎么跑

LLM 延迟稳定性检测会重复同一请求,再对比延迟。稳定延迟更像单一上游。波动很大,可能是排队、多跳或换模。

  1. 01探测

    在同一个接口上重复同一请求。

  2. 02检查

    对比这些重复请求的首 Token 延迟。

  3. 03判定

    波动大到像排队、多跳或换模时,记为不稳定。

这项检测看什么

LMSpeed 会在同一个接口上多次测量延迟,并对比波动,而不是只看第一次结果。

为什么要测

一次很快的回复,可能藏着更慢的备用线路。波动常常是中转站并非单一稳定路径的第一个线索。

一次很快的回复,可能藏着更慢的备用路径。这一项重复同一请求,看首字延迟的波动。波动大可能是排队、多跳或静默换模。这不是吞吐量排名。

结果怎么看
一次很快的回复,可能藏着更慢的备用路径。这是稳定性信号,不是吞吐量排名。
什么时候该跑这一项
回答有时瞬间出来、有时卡住时用这项。单次测速会漏掉这种摆动。

最近报告

包含这项检测的公开报告。

常见问题

LLM 延迟稳定性检测看什么?

它会重复同一请求,看延迟变化有多大。重点是稳不稳,不是一次碰巧很快。

波动很大可能说明什么?

可能是排队、多路由、冷启动或静默换模。这是信号,不是完整根因报告。

这和速度基准测试是一回事吗?

不是。速度测试看吞吐和首字延迟。这项检测看这些延迟在重复请求里稳不稳。

其他检测项