DeepWiki Rust 高性能知识库解析与文档引擎

DeepWiki Rust 高性能知识库解析与文档引擎

@sopaco/deepwiki-rs·v1.3.2·storage

基于 Rust 语言深度编写的高性能本地知识库与文档解析引擎。具备百万行 Markdown 毫秒级编译、全文 BM25 极速分词检索、双向链接图谱计算与零 GC 内存安全保障。

Rust引擎 · 双链笔记 · BM25检索 · 极速Markdown

GitHubNPM
快速安装与集成
bash
manager:
$ pnpm add @sopaco/deepwiki-rs

架构解析

「DeepWiki Rust」彻底消除长篇文档与海量工程手册解析时的卡顿瓶颈。随着知识库体积膨胀至数千乃至数万篇文档,纯 JavaScript 实现的解析器在构建抽象语法树(AST)时会面临严重的 GC 垃圾回收停顿与内存爆炸。 本扩展将原生 Rust 编译的底层动态库注入 Cordis 运行时。它能在微秒级完成对大型 Markdown 维基的词法分析与 HTML 渲染,瞬间构建起完整的双向维基链接图谱(Wikilinks Graph),并提供基于 SIMD 加速的高性能 BM25 本地文本检索,让智能体在海量知识库中秒级穿梭自由。

核心特性

01

Rust 原生极限性能:相比纯 JS 解析器提升 50 到 80 倍吞吐,千万字文档秒级完成

02

零 GC 内存绝对安全:完全避免 V8 引擎垃圾回收造成的服务毛刺与卡顿

03

双向反向链接自动计算:像 Obsidian 一样完美支持多文档之间的网状知识联想

04

SIMD 指令集 BM25 极速分词:兼顾精准关键词匹配与卓越的单机检索吞吐量

核心机制

01

Rust 底层并行解析

利用多线程 Rayon 并行加载本地 Markdown,极速构建轻量 AST 节点。

02

双向反向链接拓扑计算

提取文档间的所有 `[[wikilink]]` 语法引用,实时构建文档网络邻接矩阵。

03

SIMD 加速 BM25 检索

使用 CPU 向量指令加速全文分词与词频倒排索引,毫秒级召回候选。

04

零拷贝结构化交付

将检索结果通过共享内存直接提供给智能体推理上下文,无数据损耗。

配置参数参考 (YAML / JSON)

参数名类型默认值说明
workerThreadsnumber4Rust 底层并行解析与索引的工作线程数
enableWikilinksbooleantrue是否开启 Obsidian 风格的双括号双向链接解析
maxSearchMatchesnumber10单次 BM25 检索返回的最大候选文档段落数