Open Viking 动态渲染与网页内容萃取核

Open Viking 动态渲染与网页内容萃取核

@open-viking/scraper·v1.2.6·tools

面向高对抗性现代 Web 的高并发无头抓取与文本净化核心。内置智能反爬绕过策略、SPA 动态 DOM 渲染追踪以及高信噪比 Markdown 提取算法,为智能体提供纯净知识源。

网页抓取 · 无头浏览器 · 内容提取 · Markdown净化

GitHubNPM
快速安装与集成
bash
manager:
$ pnpm add @open-viking/scraper

架构解析

「Open Viking」是智能体探索互联网信息的基础设施。随着前端 SPA 框架的普及与 Cloudflare 等防护措施的升级,传统的静态 HTML 请求往往只能拿到空骨架或直接触发 403 拦截。 本插件深度结合 Chromium CDP 协议与轻量级无头浏览器集群,具备自动化等待 DOM 挂载、模拟人类交互与规避指纹检测的能力。抓取到的网页经过独创的 Readability 算法清洗,剔除广告、弹窗与导航噪点,输出高信息密度的 Markdown,最大化利用模型的上下文窗口。

核心特性

01

智能反爬对抗引擎:自动绕过常见防爬验证机制与动态环境检测

02

高保真 SPA 完整渲染:精准捕获 React/Vue/Angular 等前端框架动态加载数据

03

极致信噪比净化:平均剔除 75% 网页无关标签,极大节约 LLM 上下文 Token

04

结构化表格与公式保留:完整保留复杂 HTML 交互表格与数学公式为标准 Markdown

核心机制

01

目标侦察与指纹伪装

配置随机 TLS 指纹与动态 HTTP 请求头,向目标 URL 发起请求。

02

无头浏览器渲染

驱动无头浏览器执行 JavaScript,等待核心内容容器渲染完毕。

03

结构净化去噪

剥离导航栏、页脚广告、Cookie 弹窗等冗余 HTML 元素。

04

紧凑 Markdown 交付

将有效正文格式化为规范 Markdown,保留关键表格与代码块交付模型。

配置参数参考 (YAML / JSON)

参数名类型默认值说明
renderTimeoutnumber15000页面渲染等待超时时限 (毫秒)
extractImagesbooleanfalse是否在正文中保留图片直链与描述
blockResourcesstringfont,media禁止加载的资源类型,加快抓取吞吐