Стабильность задержки
Проверьте стабильность LLM latency
Повторные зонды показывают, выглядит ли эндпоинт как один стабильный upstream.
Как проходит эта проверка
Проверка разброса LLM latency повторяет один и тот же запрос и сравнивает задержку. Стабильная задержка похожа на один upstream. Сильные скачки могут значить очередь, лишние хопы или смену модели.
01Зонд
Повторить один и тот же запрос на том же эндпоинте.
02Проверка
Сравнить first-token delay между повторами.
03Вывод
Отметить высокую дисперсию, похожую на очереди, лишние хопы или смену модели.
- Как читать результат
- Один быстрый ответ может скрывать более медленный запасной путь. Это сигнал стабильности, а не рейтинг throughput.
- Когда запускать именно её
- Используйте, когда ответы то мгновенные, то зависают. Один speed test этот разброс не поймает.
Недавние отчёты
Публичные отчёты, в которых была эта проверка.
- sub.callai.onegpt-5.6-solВниманиеВремя отчёта18 авг.
- sub.callai.onegpt-5.6-solБлокВремя отчёта18 авг.
- ai.databyte.co.iddatabyte-m1НормаВремя отчёта18 авг.
- ai.databyte.co.iddeepseek-v4-flashНормаВремя отчёта18 авг.
- ai.databyte.co.idMiniMax-M3ВниманиеВремя отчёта18 авг.
- tokengate-cqt9ivzs.manus.spaceclaude-opus-5ВниманиеВремя отчёта17 авг.
FAQ
Что проверяет разброс LLM latency?
Она повторяет один запрос и смотрит, насколько меняется задержка. Важна стабильность, а не одна удачно быстрая попытка.
Что может значить высокий разброс?
Очередь, мультимаршрутизацию, холодный старт или скрытую смену модели. Это сигнал, а не полный root-cause отчет.
Это то же самое, что speed benchmark?
Нет. Speed test ранжирует throughput и first-token latency. Эта проверка смотрит, насколько стабильны эти задержки при повторах.