调用任何具有成本跟踪、护栏、日志记录和负载均衡的 LLM API。1.8k+ 模型、80+ 提供商、50+ 端点（统一 + 原生格式）。可作为 Python SDK 或代理服务器（AI 网关）使用
ai-gateway
anthropic
azure-openai
bedrock
gateway
langchain
litellm
llm
llm-gateway
llmops
mcp-gateway
openai
openai-proxy
vertex-ai
Updated 2025-12-06 11:31:30 +08:00
amd
blackwell
cuda
deepseek
deepseek-v3
gpt
gpt-oss
inference
kimi
llama
llm
llm-serving
model-serving
moe
openai
pytorch
qwen
qwen3
tpu
transformer
Updated 2025-12-06 06:41:42 +08:00
A high-throughput and memory-efficient inference and serving engine for LLMs
Updated 2025-11-15 01:34:54 +08:00