DSH Dynamic Router 智能模型路由与成本均衡器

DSH Dynamic Router 智能模型路由与成本均衡器

@yjh051108/dsh-routing-suite·v1.2.0·providers

根据任务复杂度自适应分流推理请求的智能路由套件。将简单归类交由超高速小模型处理,复杂逻辑推理无缝分流至 DeepSeek-R1,在保障最高解答水准的同时大幅削减整体推理预算。

模型路由 · 成本优化 · 意图分流 · 混合调度

GitHubNPM
快速安装与集成
bash
manager:
$ pnpm add @yjh051108/dsh-routing-suite

架构解析

「DSH Routing Suite」帮助工程团队在模型效果与调用成本之间找到最佳平衡点。如果不管任务难易,对所有请求一律调用最高昂的顶级大模型,不仅会产生巨额账单,还会因为长思考时间显著劣化用户体验。 本插件通过在发信前执行轻量级的语义复杂度评估与意图分类,动态决定分流路径。对于日常打招呼、JSON 格式重排或简单的布尔判断,路由器会调度超轻量的小模型秒级交付;而一旦检测到代码重构、数学论证或多步骤逻辑规划,流量将瞬时无感升级至旗舰模型,实现算力资源的最优配置。

核心特性

01

意图与难度双重评估:基于微型嵌入模型毫秒级完成任务复杂度打分

02

自动化降级与平滑升级:当小模型解答不达标时,无缝切换至顶级模型重新生成

03

精细化成本预算控制:支持设定每日或单会话最高资金限额,防止超支

04

可视化流量分流报表:实时展示不同难度任务的模型分配比例与节约费用数据

核心机制

01

请求复杂度打分

分析用户输入、提示词长度与工具需求,综合计算任务难度系数。

02

动态规则匹配

根据预设的成本预算、延迟要求与技术栈标签,匹配目标模型层级。

03

上下文重构转发

根据目标模型的特定参数偏好调整温度与最大 Token 上限并分发请求。

04

质量自检与重试

若小模型输出未通过格式验证或置信度偏低,自动透明升级重试。

配置参数参考 (YAML / JSON)

参数名类型默认值说明
budgetModestringbalanced路由调度模式 (performance / balanced / economy)
complexityThresholdnumber0.65触发升级至顶级推理模型的复杂度临界阈值
lightweightModelstringdeepseek-chat-fast用于处理低复杂度任务的轻量模型名称