为MBZUAI-IFM/K2-Think模型提供API代理服务,具备令牌管理和负载均衡功能。
K2Think为MBZUAI-IFM/K2-Think模型提供API代理网关服务。主要功能包括令牌轮询和负载均衡、自动失效检测和重试机制、令牌池管理,并支持OpenAI Function Calling工具调用。
关键端点包括:
/v1/chat/completions用于聊天补全/v1/models用于模型信息查询/health用于服务健康检查
管理端点提供令牌监控和管理功能,包括令牌统计、重置操作、连续失败追踪和令牌更新器控制。
