Chutes 提供大语言模型推理 API 服务,通过 OpenAI 兼容接口访问多种开源 AI 模型。
Chutes 目前提供 3 个大模型 API。
速度基准测试平均吞吐 33 tok/s。
llm.chutes.ai