DSH Dynamic Router 智能模型路由与成本均衡器
@yjh051108/dsh-routing-suite · v1.2.0
根据任务复杂度自适应分流推理请求的智能路由套件。将简单归类交由超高速小模型处理，复杂逻辑推理无缝分流至 DeepSeek-R1，在保障最高解答水准的同时大幅削减整体推理预算。
模型路由成本优化意图分流混合调度
GitHub Stars
27 K+
+12.4% this month
月度调用量
105 K+
Monthly registry pulls
Reach 影响力
98.0/ 100
Top Tier Ecosystem
运行环境
Cordis v3+
Node 18+ / Bun / Deno
安装与配置
支持 CLI 一键执行、包管理器以及 Cordis 总线编排
bash
manager:
$ pnpm add @yjh051108/dsh-routing-suite架构解析
「DSH Routing Suite」帮助工程团队在模型效果与调用成本之间找到最佳平衡点。如果不管任务难易，对所有请求一律调用最高昂的顶级大模型，不仅会产生巨额账单，还会因为长思考时间显著劣化用户体验。
本插件通过在发信前执行轻量级的语义复杂度评估与意图分类，动态决定分流路径。对于日常打招呼、JSON 格式重排或简单的布尔判断，路由器会调度超轻量的小模型秒级交付；而一旦检测到代码重构、数学论证或多步骤逻辑规划，流量将瞬时无感升级至旗舰模型，实现算力资源的最优配置。
架构设计原则与约束
01
强类型契约隔离
基于 TypeScript 编译期深度推断，跨插件总线调用享受严格类型校验与零偏差提示。
02
毫秒级热插拔调度
支持微内核动态注册与安全平滑卸载，无需重启主宿主进程即可完成逻辑热替换。
03
确定性有限状态机
内置严谨的多阶段任务生命周期控制，防止复杂长时迭代推理场景中会话状态丢失。
04
零动态构建底层依赖
采用纯原生跨平台运行时环境设计，在 Node.js、Bun 及 Deno 容器中极速冷启动。
核心特性
01
意图与难度双重评估：基于微型嵌入模型毫秒级完成任务复杂度打分
02
自动化降级与平滑升级：当小模型解答不达标时，无缝切换至顶级模型重新生成
03
精细化成本预算控制：支持设定每日或单会话最高资金限额，防止超支
04
可视化流量分流报表：实时展示不同难度任务的模型分配比例与节约费用数据
核心机制
01
请求复杂度打分
分析用户输入、提示词长度与工具需求，综合计算任务难度系数。
02
动态规则匹配
根据预设的成本预算、延迟要求与技术栈标签，匹配目标模型层级。
03
上下文重构转发
根据目标模型的特定参数偏好调整温度与最大 Token 上限并分发请求。
04
质量自检与重试
若小模型输出未通过格式验证或置信度偏低，自动透明升级重试。
配置参数参考 (YAML / JSON)
| 参数名 | 类型 | 默认值 | 说明 |
|---|---|---|---|
| budgetMode | string | balanced | 路由调度模式 (performance / balanced / economy) |
| complexityThreshold | number | 0.65 | 触发升级至顶级推理模型的复杂度临界阈值 |
| lightweightModel | string | deepseek-chat-fast | 用于处理低复杂度任务的轻量模型名称 |
应用场景
企业级生产智能体运行时
依托微内核生命周期与容错状态机，保障企业复杂 Agent 全天候稳定执行不崩溃。
基准测试标准化评测运行
深度原生集成 SWE-bench 标准流程，自动化抓取代码变更并产出规范复现指标。
全自主代码工程重构演进
精准拆解模型思考流与具体操作，跨多文件自主排查并高质量完成大型模块重构。
跨系统多工具流协同自动化
在多进程沙箱间安全并发调度事件，打通研发上下游系统实现端到端自动化流转。
最佳实践
01
权限沙箱隔离机制
严格限定子进程系统调用与外部网络范围，在生产环境中建议结合 Docker 独立容器执行。
02
配置指数退避重试
针对上游模型接口限流与偶发网络抖动，建议开启自适应退避重试并设定最大执行上限。
03
长时任务状态快照
利用内核事件总线快照功能实时固化会话节点，发生不可抗意外时支持秒级断点恢复。
04
全量结构化链路追踪
开启全量 Trace 日志输出，将大模型思考过程与具体工具入参返回值集中汇聚至监控。
常见问题
Q1:长时间执行任务超时如何正确配置？
可在配置文件中调大 timeout 阈值，并通过生命周期钩子定期向总线派发心跳信号。针对长耗时推理与工具调用，建议配合持久化会话快照机制，在任务暂停或重启后无缝恢复执行上下文，避免会话被内核提前回收。
Q2:如何捕获并流式解析模型思考过程？
框架原生提供流式回调机制，会话状态机自动拦截并剥离大模型的 <think> 思考标签。开发者只需监听 onThink 事件即可实时获取推理增量，结合前端流式渲染呈现动效，并支持将完整推导链沉淀至审计日志。
Q3:多个插件依赖冲突时如何按需加载？
Cordis 微内核基于有向无环图进行拓扑排序并解析依赖树。当插件间存在同名服务或版本冲突时，可通过命名空间隔离机制按需挂载；结合上下文注入与惰性初始化技术，仅在工具唤起时动态加载资源，保障系统稳定。
Q4:生产环境中如何实施权限与沙箱隔离？
推荐结合容器沙箱与细粒度权限管控，严密禁止插件越权访问敏感文件与未授权外部网络。可通过微内核提供的权限白名单机制严格限制系统调用，并将工具执行环境置于隔离容器内，彻底阻断潜在的代码注入与提权安全风险。
相关生态插件推荐
为你推荐同分类及高度协同的 Cordis 扩展
providers79 K+
OpenRouter 多模型实时网关与故障转移路由
为 DeepSeek Harness 接入数百款全球领先大模型的统一调度中继。提供动态延迟探测、价格最优自动路由、并发故障秒级平滑降级与全局统一计费管理能力。
View details
providers134 K+
AGY Cloud 专线推理驱动与极速连接池
深度优化的官方 AGY 专线推理连接驱动。提供 HTTP/2 多路复用长连接池、零解析开销二进制流传输协议与私有专属集群低延迟直连，专为极限吞吐与大规模生产设计。
View details
core19 K+
DSH Proactive 异步心跳与守护调度器
为 DeepSeek Harness 智能体提供生产级异步心跳机制与常驻守护进程。支持声明式 Cron 定时任务、长周期作业状态暂存与事件唤醒总线，让模型由被动响应转变为具备主动治理能力的持续自治智能体。
View details