LogoLMSpeed
Запустить полный 13-шаговый аудит

Разброс задержки

Проверьте разброс задержки LLM

Повторные зонды показывают, выглядит ли эндпоинт как один стабильный upstream.

Как проходит эта проверка

Проверка разброса LLM latency повторяет один и тот же запрос и сравнивает задержку. Стабильная задержка похожа на один upstream. Сильные скачки могут значить очередь, лишние хопы или смену модели.

  1. 01Зонд

    Повторить один и тот же запрос на том же эндпоинте.

  2. 02Проверка

    Сравнить first-token delay между повторами.

  3. 03Вывод

    Отметить высокую дисперсию, похожую на очереди, лишние хопы или смену модели.

Что проверяет этот шаг

LMSpeed измеряет latency больше одного раза на том же эндпоинте и сравнивает разброс, а не только первый замер.

Почему это важно

Один быстрый ответ может скрывать более медленный запасной маршрут. Разброс часто первый сигнал, что relay — не один стабильный путь.

Один быстрый ответ может скрывать медленный запасной путь. Проверка повторяет запрос и смотрит разброс first-token. Это не рейтинг пропускной способности.

Как читать результат
Один быстрый ответ может скрывать более медленный запасной путь. Это сигнал стабильности, а не рейтинг throughput.
Когда запускать именно её
Используйте, когда ответы то мгновенные, то зависают. Один speed test этот разброс не поймает.

Недавние отчёты

Публичные отчёты, в которых была эта проверка.

FAQ

Что проверяет разброс LLM latency?

Она повторяет один запрос и смотрит, насколько меняется задержка. Важна стабильность, а не одна удачно быстрая попытка.

Что может значить высокий разброс?

Очередь, мультимаршрутизацию, холодный старт или скрытую смену модели. Это сигнал, а не полный root-cause отчет.

Это то же самое, что speed benchmark?

Нет. Speed test ранжирует throughput и first-token latency. Эта проверка смотрит, насколько стабильны эти задержки при повторах.

Другие проверки