Distilly 上下文智能蒸馏与剪枝优化器

Distilly 上下文智能蒸馏与剪枝优化器

@distilly/mindset·v1.1.8·core

面向长程会话与超长代码库的上下文无损压缩引擎。基于语义关键度算法动态剔除冗余系统提示词、重复交互日志与无用空白字符,最高节省 70% Token 消耗与推理延迟。

上下文压缩 · Token优化 · 长会话 · 成本控制

GitHubNPM
快速安装与集成
bash
manager:
$ pnpm add @distilly/mindset

架构解析

「Distilly」是开发者降低 LLM 账单与控制上下文漂移的终极法宝。在多步自治任务中,随着执行轮次的增加,历史消息会迅速积累大量格式模板、命令输出堆栈与无意义确认词,导致推理速度急剧下降且极易超出窗口限制。 本插件通过在向模型发信前植入动态蒸馏器(Semantic Pruner),对上下文进行智能语义重组。它能自动提取多轮讨论的核心结论、折叠超长的日志输出,并保留代码块的关键签名与调用逻辑,让模型始终在最精炼、最高信噪比的提示词环境中保持高效推理。

核心特性

01

无损语义压缩算法:保留全部业务关键约束与变量值,杜绝因压缩导致任务失败

02

大幅削减推理账单:在长程任务中平均缩减 40%~70% 的输入 Token 费用

03

显著缩减 TTFT 首字延迟:极低提示词长度大幅降低模型预填充阶段的计算耗时

04

可配置压缩激进策略:提供安全模式、平衡模式与激进模式三种优化强度档位

核心机制

01

上下文密度扫描

解析当前会话消息列表,评估每条消息的信息增益与时间衰减权重。

02

冗长日志结构折叠

识别大型终端输出与构建日志,将重复行与进度条折叠为简短结果。

03

历史交互语义抽取

将早期的多轮尝试推理过程压缩为“已知约束与成果”的精炼清单。

04

高保真发送交付

生成紧凑型 Prompt Payload 并发往 DeepSeek 模型推理网关。

配置参数参考 (YAML / JSON)

参数名类型默认值说明
compressionLevelstringbalanced压缩强度级别 (safe / balanced / aggressive)
maxLogLinesnumber30工具输出日志保留的最大未折叠行数
preserveCodeBlocksbooleantrue是否绝对禁止压缩核心代码块内部逻辑