一个自托管的LLM API网关,通过智能路由和监控统一多个提供商。
Veloera是一个用Rust构建的自托管LLM API网关,旨在提供高性能。它为多个LLM提供商(包括OpenAI、Anthropic和Google)提供统一接口。主要功能包括具有亚毫秒级路由决策的智能负载均衡、内置的指标和日志分析仪表板、智能缓存和连接池。该网关提供基于YAML的配置(支持热重载)、OpenAPI规范(支持多种语言的自动生成SDK)、内置的身份验证和授权功能,以及符合SOC2标准的架构。采用MIT许可证,设计用于通过Docker进行自托管部署。
