OpenRouter 多模型实时网关与故障转移路由

OpenRouter 多模型实时网关与故障转移路由

@openrouter/dsh-live-gateway·v1.6.4·providers

为 DeepSeek Harness 接入数百款全球领先大模型的统一调度中继。提供动态延迟探测、价格最优自动路由、并发故障秒级平滑降级与全局统一计费管理能力。

模型路由 · OpenRouter · 故障转移 · 高可用网关

GitHubNPM
快速安装与集成
bash
manager:
$ pnpm add @openrouter/dsh-live-gateway

架构解析

「OpenRouter Live」保障智能体后端推理的高可用性与弹性调度。单一模型供应商在业务高峰期难免出现速率超限(429 Too Many Requests)、机房网络抖动或临时性服务降级。 本插件通过聚合 OpenRouter 统一网关,允许开发者在 Cordis 配置中定义灵活的备选模型降级策略(Fallback Cascade)。主选 DeepSeek-V3 出现波动时,网关可在毫秒级自动重试并降级至同类备用模型,全程无需中断正在进行的长程自治任务,确保关键业务 99.99% 的高可用运行。

核心特性

01

单 API Key 畅联数百款模型:统一凭证即可调度 DeepSeek、Claude、Llama 与 GPT

02

秒级自动故障转移路由:主通道发生网络波动或超限时,自动无损切换备用通道

03

智能成本优先调度模式:根据任务难易度自动分配轻量廉价模型与重型推理模型

04

实时端点延迟与可用率透视:控制台直观呈现各供应商最新首字耗时与吞吐量

核心机制

01

请求路由与计费核算

拦截模型调用请求,根据当前预算与任务复杂度匹配最优目标模型。

02

统一协议转换

将标准 Cordis 请求参数透明转译为 OpenRouter 标准 API Payload。

03

动态延迟心跳探测

实时探测各可用区端点首字延迟(TTFT),自动将流量分流至最优节点。

04

自动故障降级重试

当遇到超时或限流错误时,无感切换至配置的下一顺位备选模型重试。

配置参数参考 (YAML / JSON)

参数名类型默认值说明
primaryModelstringdeepseek/deepseek-chat主选调用的第一优先级模型标识符
fallbackModelsstringdeepseek/deepseek-r1,anthropic/claude-3.5-sonnet故障时按顺序降级的备选模型列表
maxRetryCountnumber3触发网络异常时自动重试与切换的最大次数