部署在 Koyeb 上的 Ollama 自托管实例,通过 OpenAI 兼容 API 提供开源 AI 模型访问。
Koyeb Ollama Proxy 目前提供 1 个大模型 API。
速度基准测试平均吞吐 2 tok/s。
https://sore-caitlin-flyingpot-402fcea7.koyeb.app