browser-use video-use
video-use 隆重推出 video-use — 使用 Claude Code 编辑视频。100% 开源。将原始素材放入文件夹,与 Claude Code 对话,即可获得最终的 final.mp4。适用于任何内容 — 人物访谈、混剪、教程、旅行、采访 — 无需预设或菜单。
功能
- 剪掉填充词(嗯、啊、错误开头)以及镜头之间的空白停顿
- 自动为每个片段进行调色(暖色调电影感、中性鲜明风格,或任何自定义 ffmpeg 链)
- 每次剪辑处添加 30ms 音频淡入淡出,确保听不到爆音
- 以你的风格烧录字幕 — 默认每段 2 个单词的大写形式,完全可自定义
- 通过 HyperFrames、Remotion、Manim 或 PIL 生成动画叠加层 — 在并行子代理中生成,每个动画一个代理
- 在向你展示任何内容之前,在每个剪辑边界处对渲染输出进行自我评估
- 将会话记忆持久化到 project.md 中,以便下周的会话可以从上次中断的地方继续
设置提示
粘贴到 Claude Code、Codex、Hermes、Openclaw 或任何具有 shell 访问权限的代理中:
为我设置 https://github.com/browser-use/video-use。首先阅读 install.md 来安装此仓库,配置 ffmpeg,将技能注册到你正在运行的任何代理中,并设置 ElevenLabs API 密钥 — 需要时我会提示你粘贴。然后阅读 SKILL.md 了解日常用法,并始终阅读 helpers/,因为编辑脚本存放在那里。安装完成后,不要自行转录任何内容 — 只需告诉我已准备就绪,然后等待我将素材放入文件夹。
该代理会处理克隆、依赖项、技能注册,并提示你输入一次 ElevenLabs API 密钥(在 elevenlabs.io/app/settings/api-keys 获取一个)。然后将你的代理指向一个包含原始素材的文件夹:
cd /path/to/your/videos
claude # 或 codex、hermes 等
如需从你自己的 VPS 或 Telegram 进行始终在线的编辑,请通过 Browser Use Box 运行代理。观看 15 秒演示。
在会话中:将这些编辑成一个发布视频
它会盘点素材来源,提出策略,等待你的确认,然后在你素材旁边生成 edit/final.mp4。所有输出都位于
手动安装
如果你更愿意手动操作:
# 1. 克隆并创建符号链接到你的代理技能目录
git clone https://github.com/browser-use/video-use ~/Developer/video-use
ln -sfn ~/Developer/video-use ~/.claude/skills/video-use # Claude Code
# ln -sfn ~/Developer/video-use ~/.codex/skills/video-use # Codex
# 2. 安装依赖项
cd ~/Developer/video-use
uv sync # 或:pip install -e .
brew install ffmpeg # 必需
brew install yt-dlp # 可选,用于下载在线素材
# 3. 添加你的 ElevenLabs API 密钥
cp .env.example .env
$EDITOR .env # ELEVENLABS_API_KEY=...
工作原理
LLM 从不观看视频。它读取视频 — 通过两层信息,这两层共同为其提供以单词边界精度进行剪辑所需的一切。
第一层 — 音频转录(始终加载)。 每个素材源调用一次 ElevenLabs Scribe 即可获得单词级别的时间戳、说话人分离和音频事件((笑声)、(掌声)、(叹息))。所有素材打包成一个约 12KB 的 takes_packed.md — LLM 的主要阅读视图。
## C0103 (时长: 43.0s, 8 个短语)
[002.52-005.36] S0 一个网页代理所做的百分之九十的工作都是完全浪费的。
[006.08-006.74] S0 我们修复了这个问题。
第二层 — 视觉合成(按需调用)。 timeline_view 可为任何时间范围生成胶片条 + 波形 + 单词标签 PNG。仅在决策点调用 — 模糊的停顿、重拍比较、剪辑点合理性检查。
朴素方法:30,000 帧 × 1,500 个 token = 4500 万个 token 的噪声。Video Use:12KB 文本 + 少量 PNG。与 browser-use 给 LLM 提供结构化 DOM 而非截图的想法相同 — 但针对视频。
流程
转录 ──> 打包 ──> LLM 推理 ──> EDL ──> 渲染 ──> 自我评估
│
└─ 有问题?修复 + 重新渲染(最多 3 次)
自我评估循环在每个剪辑边界处对渲染输出运行 timeline_view — 捕捉视觉跳跃、音频爆音、隐藏的字幕。只有在通过评估后,你才会看到预览。
设计原则
- 文本 + 按需视觉。不进行帧转储。转录是表面层。
- 音频是主要的,视觉紧随其后。剪辑来自语音边界和静音间隙。
- 询问 → 确认 → 执行 → 自我评估 → 持久化。未经策略批准,绝不触碰剪辑。
- 对内容类型零假设。观察、询问、然后编辑。
- 12 条硬性规则,艺术自由在其他方面。制作正确性不容商量。品味则不然。
完整的制作规则和编辑技巧请参见 SKILL.md。