LLM Gateway 双源头供应设计：new-api channel 路由与稳定性兜底

背景

Attune Pro 会员的核心增值之一是「登录即用」的 LLM gateway —— 用户付一份订阅，背后 attune 路由到 OpenAI / Anthropic / Gemini / DeepSeek / Qwen 等多家供应商，对客户端透明。

上线初期我们直接用单 provider 反向代理，遇到三类问题：

1. 单点故障：DeepSeek 凌晨例行维护两小时，所有用户都拿到 502
2. 配额波动：某 provider 配额耗尽，新请求只能 hard fail
3. 模型异构：GPT-4o 擅长代码、Claude 擅长法律长文、Gemini 擅长视觉 —— 我们要让 attune 根据 task type 自动选

选型：new-api

new-api 是社区维护的多 LLM channel 路由项目，支持 OpenAI 兼容 API + Anthropic / Gemini / Azure / DeepSeek / Qwen / Moonshot 等 channel。

我们在它的基础上加了三层定制：

1. Channel + model 白名单

每个 attune Pro 用户的订阅 tier 映射到一组允许 channel：

free       → []                              # 仅 BYOK，无 gateway
pro-mini   → [openai-mini, gemini-flash]
pro-std    → [openai-std, claude-sonnet, deepseek]
pro-max    → [openai-std, claude-opus, gemini-pro, gpt-4o]

Model 白名单做粒度更细的 gating：pro-mini 用户即使知道 claude-opus-4 model name 也调不到。

2. Content-type aware 路由

Attune 客户端发请求带 X-Attune-Task: code|legal|vision|chat header，gateway 根据 task type 在白名单内挑首选：

task	首选 channel	备选	兜底
code	gpt-4o	claude-sonnet	deepseek
legal	claude-sonnet	gpt-4o	deepseek
vision	gemini-pro	gpt-4o-vision	claude-opus
chat	gemini-flash	gpt-4o-mini	qwen-turbo

首选不可用 → fall through 备选 → 备选不可用 → 兜底。三档都挂才返 502。

3. 双源头资源池

关键 channel 配置 ≥2 个独立 source（不同 API key + 不同账户），new-api 内置 round-robin / weighted balance：

• openai-std：账户 A + 账户 B 各 50% 权重
• deepseek：直连 + 国内代理两路
• gemini-pro：Google Cloud Vertex + AI Studio 两路

单源限流时另一源接管，对用户表现为「慢一点但不挂」。

监控

gatus 7×24 探活：

• 每 60s 对每个 channel 发 ping + 1-token chat
• 失败 → 自动 fail-over + Slack 通知
• 累计成功率落入 RELEASE.md per-month report

限流与配额

用户级配额（per minute / per day / per month）落 Redis token bucket，超额 429。 Channel 级配额追踪 + 自动暂停过热 channel 30 分钟。

客户端集成

attune 客户端只看一个 endpoint：

https://gateway.engi-stack.com/v1/chat/completions
Authorization: Bearer <attune-pro-token>
X-Attune-Task: legal

OpenAI 兼容 schema，已有 OpenAI SDK 一行换 base URL 即可用。

路线图

• 2026 Q3：增加 Mistral / Cohere channel；引入 spec-decoding 加速
• 2026 Q4：本地 K3 一体机直接接入 gateway（混合云本地）
• 2027：向 enterprise 客户开放自定义 channel 池