K2Think предоставляет прокси-шлюз API для модели MBZUAI-IFM/K2-Think. Он предлагает ротацию токенов и балансировку нагрузки, автоматическое обнаружение сбоев и механизмы повторных попыток, управление пулом токенов, а также поддержку интеграции инструментов OpenAI Function Calling.
Ключевые конечные точки включают:
/v1/chat/completionsдля завершения чатов/v1/modelsдля информации о моделях/healthдля проверки работоспособности сервиса
Административные конечные точки позволяют отслеживать и управлять токенами, включая статистику токенов, функции сброса, отслеживание последовательных сбоев и управление обновлением токенов.
