LLM路由器聚合器概述 | AI生成和翻译

Home 2026.06

问题： 除了 OpenRouter，还有哪些主要的 LLM API 路由器/聚合器？

回答：

以下是一些值得关注的主要服务：

第一梯队 — 全功能聚合器（多供应商路由）

服务 模型数量 主要特点
OpenRouter 300+ 覆盖最广，支持回退路由，使用分析
Together AI 100+ 擅长开源模型，推理速度快，支持微调
Fireworks AI 50+ 推理速度快，支持函数调用和 JSON 模式
Replicate 数千个 通过 Docker 运行任意模型，也适合图像/音频
Groq ~20 速度极快（LPU 芯片），支持 Llama/Mixtral
Cerebras ~5 推理速度最快（约 2000 token/秒），支持 Llama 3.3

第二梯队 — 专注于特定方向的路由器

服务 专长
Hugging Face Inference API 任意 Hugging Face 模型，无服务器部署
Novita AI 价格低廉的开源模型
DeepInfra 开源模型定价有竞争力
Perplexity API 搜索增强模型
Mistral API 官方 Mistral 模型，适合欧洲用户

第三梯队 — 企业级/自托管路由器

服务 适用场景
LiteLLM 自托管代理，支持 100+ 供应商，兼容 OpenAI
PortKey 可观测性 + 路由 + 安全护栏
Helicone 代理功能，含日志记录、速率限制、缓存
Martian 基于成本/质量的智能模型路由

针对你的具体场景

考虑到你重度使用 OpenRouter 并构建 CLI 代理：

LiteLLM 是最值得自托管的选择——一个兼容 OpenAI 的单一端点，可路由到任意供应商：

pip install litellm

# litellm --model openrouter/deepseek/deepseek-chat
# 或在代码中：
from litellm import completion
response = completion(
    model="openrouter/deepseek/deepseek-r1",
    messages=[{"role": "user", "content": "hi"}],
    api_key="<API_KEY>"
)

如果你希望获得跨 20 亿 token/月消耗量的可观测性，PortKey 是不错的选择——它能在多个供应商之间进行日志记录、链路追踪和缓存。

DeepSeek V3 定价对比（你的主要模型）

路由器 输入价格（美元/百万 token） 备注
OpenRouter ~$0.27 享受缓存折扣
Together AI ~$0.30  
Fireworks ~$0.27  
DeepInfra ~$0.28  
官方 API ~$0.27 直接访问 api.deepseek.com

针对你的使用场景（高流量、CLI 代理、重度依赖 DeepSeek），我建议：

Back Donate