OpenBiliClaw 弹幕视频深度解析与知识提取流

OpenBiliClaw 弹幕视频深度解析与知识提取流

@whiteguo233/openbiliclaw·v1.1.2·tools

面向长视频、技术讲座与多媒体教学资源的深度理解与语义提取工具链。支持音轨高保真 ASR 转录、弹幕情绪密度峰值热度定位、PPT 幻灯片关键帧自动切片与结构化摘要。

视频解析 · Whisper转录 · PPT截帧 · 知识提取

GitHubNPM
快速安装与集成
bash
manager:
$ pnpm add @whiteguo233/openbiliclaw

架构解析

「OpenBiliClaw」为智能体打通音视频多媒体这一庞大的知识宝库。海量的技术前沿讲座、大会演讲与教程常常只以长视频或直播录像的形式存在,无法被文本智能体直接阅读与消化。 本插件通过集成先进的多媒体预处理流水线,使智能体能够一键消化数小时的音视频长片。插件会自动提取音轨并调用 Whisper 模型生成精准带时间戳的字幕文本,结合弹幕爆发热度曲线定位视频中最核心的高光干货段落,并自动对讲师演示的幻灯片进行无损截帧,将其编译为图文并茂的高质量 Markdown 维基笔记。

核心特性

01

音视频秒级长文本转录:精准处理长达数小时的技术大会讲座与代码实战演示

02

幻灯片翻页智能关键帧捕获:自动过滤讲师移动干扰,精准截取清晰 PPT 板书

03

弹幕情绪与热度峰值分析:根据弹幕密集度自动标注“干货出现”与“核心结论”时间点

04

生成带时间戳的可点击导航笔记:点击笔记内时间戳即可联动定位到视频原片

核心机制

01

多媒体音轨抽取

解析视频直链,高效分离高清音频流并切分为适合识别的短片段。

02

高保真语音转文字

调用轻量 Whisper 模型转录文本,精准保留句子起止时间戳信息。

03

视觉关键帧幻灯片截取

检测视频画面变动,自动抓取讲师翻页或板书变更时的高清静止关键帧。

04

图文并茂维基生成

将转录文本、时间锚点与截取的幻灯片图片综合编译为结构化学习维基。

配置参数参考 (YAML / JSON)

参数名类型默认值说明
asrModelstringwhisper-base默认使用的语音识别转写模型规格
extractSlidesbooleantrue是否自动识别并截图 PPT 幻灯片关键帧
minDanmakuPeakRationumber2.5判定为高光干货时段的弹幕密度突增倍率