开源 AI Gateway——
一个接口，调用 100+ LLM 提供商。
开源 AI 网关 · 100+ LLM · 企业级 · Netflix 在用 · 8ms P95 延迟
← 返回汇总LLM 世界的统一收银台。
Python SDK 或独立 Proxy Server，把 OpenAI/Anthropic/Gemini/Bedrock/Azure 等统一成 OpenAI 格式。
每个提供商独立 SDK，认证、请求格式、错误类型各异，切换成本高。
不同模型价格差几十倍，缺乏统一密钥管理与花费追踪。
依赖单一提供商，宕机即业务中断，无 fallback 机制。
换模型不改代码。
小项目用 SDK 省事；多服务团队用 Proxy 集中管密钥、看花费、配策略。
| 能力 | 说明 |
|---|---|
LLM 调用 | chat/completions、embeddings、images、audio、batches、rerank |
虚拟密钥 | 为用户/项目发独立 key，限额限模型 |
花费追踪 | 按 key/模型/用户统计 token 与费用 |
负载均衡 | 多部署间分流，按权重/延迟路由 |
Fallback | 主模型故障自动切换备选 |
Guardrails | 请求/响应内容审查与拦截 |
缓存 | 相同请求命中缓存，降本提速 |
管理面板 | 可视化看板管理一切 |
/chat/completions 直接调用 MCP 工具。LiteLLM 正从"LLM 网关"演化为"AI 基础设施网关"——模型、Agent、工具统一入口。
from litellm import completion import os os.environ["OPENAI_API_KEY"] = "sk-..." # 同一套代码，换 model 即换提供商 response = completion( model="openai/gpt-4o", messages=[{"role": "user", "content": "Hello!"}] ) # model="anthropic/claude-sonnet-4-..." 即切到 Anthropic
# 安装 uv tool install 'litellm[proxy]' # 启动（默认 4000 端口） litellm --model gpt-4o # 客户端用标准 OpenAI SDK 接入 import openai client = openai.OpenAI(api_key="anything", base_url="http://0.0.0.0:4000") response = client.chat.completions.create( model="gpt-4o", messages=[{"role": "user", "content": "Hello!"}] )
Docker 一键部署，支持企业级配置。
每一环都可配置、可观测。故障时自动 fallback 到备选模型。
100+ 提供商，几乎是业界最全的模型聚合。
8ms P95 延迟 @ 1k RPS，生产级性能。
大厂生产采用，可靠性经受过考验。
从 LLM 扩展到 Agent (A2A) 与工具 (MCP)，定位升级。
LLM 网关的事实标准，多模型时代的基础设施级项目。随着 Agent 应用爆发，它从"LLM 网关"升级为"AI 基础设施网关"（模型+Agent+工具），统一入口的价值持续增长。类似 Nginx 之于 HTTP——只要 AI 调用需要统一治理，就需要 LiteLLM 这一层。