快速安装与集成
bash
manager:
$ pnpm add @open-viking/scraper架构解析
「Open Viking」是智能体探索互联网信息的基础设施。随着前端 SPA 框架的普及与 Cloudflare 等防护措施的升级,传统的静态 HTML 请求往往只能拿到空骨架或直接触发 403 拦截。
本插件深度结合 Chromium CDP 协议与轻量级无头浏览器集群,具备自动化等待 DOM 挂载、模拟人类交互与规避指纹检测的能力。抓取到的网页经过独创的 Readability 算法清洗,剔除广告、弹窗与导航噪点,输出高信息密度的 Markdown,最大化利用模型的上下文窗口。
核心特性
01
智能反爬对抗引擎:自动绕过常见防爬验证机制与动态环境检测
02
高保真 SPA 完整渲染:精准捕获 React/Vue/Angular 等前端框架动态加载数据
03
极致信噪比净化:平均剔除 75% 网页无关标签,极大节约 LLM 上下文 Token
04
结构化表格与公式保留:完整保留复杂 HTML 交互表格与数学公式为标准 Markdown
核心机制
01
目标侦察与指纹伪装
配置随机 TLS 指纹与动态 HTTP 请求头,向目标 URL 发起请求。
02
无头浏览器渲染
驱动无头浏览器执行 JavaScript,等待核心内容容器渲染完毕。
03
结构净化去噪
剥离导航栏、页脚广告、Cookie 弹窗等冗余 HTML 元素。
04
紧凑 Markdown 交付
将有效正文格式化为规范 Markdown,保留关键表格与代码块交付模型。
配置参数参考 (YAML / JSON)
| 参数名 | 类型 | 默认值 | 说明 |
|---|---|---|---|
| renderTimeout | number | 15000 | 页面渲染等待超时时限 (毫秒) |
| extractImages | boolean | false | 是否在正文中保留图片直链与描述 |
| blockResources | string | font,media | 禁止加载的资源类型,加快抓取吞吐 |
相关推荐
查看更多插件为你推荐同类插件
tools4.8 K+
DSH Context 上下文全景透视与多Agent日志面板
dsh-context 是一站式 DeepSeek Harness 上下文可视化与管理插件。提供独立的 Context 看板、浏览器、侧边栏与 /context 指令。深度透视 Token 构成与来源分布,追踪多轮对话的上下文演进、压缩与剪枝(Pruning)历史,并全景整合多 Agent 团队的会话日志与任务委派记录。
查看详情
tools98 K+
Open Design 原生 UI 设计与组件合成器
将自然语言与线框草图编译为现代前端代码的组件合成系统。深度整合 Tailwind CSS、React 与 Figma 抽象语法树(AST),支持全响应式设计规范验证与像素级高保真界面生成。
查看详情
tools72 K+
Archify 软件架构图与拓扑可视化引擎
根据系统源码拓扑与数据库实体模型自动逆向生成高质量 Mermaid、PlantUML 与 C4 架构图的渲染引擎。支持依赖追踪、序列流转图绘制与架构漂移实时告警。
查看详情
