← 返回日报
🌐 机器翻译 · DeepSeek · GitHub

browser-use video-use


browser-use video-use

video-use 隆重推出 video-use — 使用 Claude Code 编辑视频。100% 开源。将原始素材放入文件夹,与 Claude Code 对话,即可获得最终的 final.mp4。适用于任何内容 — 人物访谈、混剪、教程、旅行、采访 — 无需预设或菜单。

功能

粘贴到 Claude Code、Codex、Hermes、Openclaw 或任何具有 shell 访问权限的代理中:

为我设置 https://github.com/browser-use/video-use。首先阅读 install.md 来安装此仓库,配置 ffmpeg,将技能注册到你正在运行的任何代理中,并设置 ElevenLabs API 密钥 — 需要时我会提示你粘贴。然后阅读 SKILL.md 了解日常用法,并始终阅读 helpers/,因为编辑脚本存放在那里。安装完成后,不要自行转录任何内容 — 只需告诉我已准备就绪,然后等待我将素材放入文件夹。

该代理会处理克隆、依赖项、技能注册,并提示你输入一次 ElevenLabs API 密钥(在 elevenlabs.io/app/settings/api-keys 获取一个)。然后将你的代理指向一个包含原始素材的文件夹:

cd /path/to/your/videos
claude # 或 codex、hermes 等

如需从你自己的 VPS 或 Telegram 进行始终在线的编辑,请通过 Browser Use Box 运行代理。观看 15 秒演示。

在会话中:将这些编辑成一个发布视频

它会盘点素材来源,提出策略,等待你的确认,然后在你素材旁边生成 edit/final.mp4。所有输出都位于 /edit/ — 技能目录保持整洁。

手动安装

如果你更愿意手动操作:

# 1. 克隆并创建符号链接到你的代理技能目录
git clone https://github.com/browser-use/video-use ~/Developer/video-use
ln -sfn ~/Developer/video-use ~/.claude/skills/video-use # Claude Code
# ln -sfn ~/Developer/video-use ~/.codex/skills/video-use # Codex

# 2. 安装依赖项
cd ~/Developer/video-use
uv sync # 或:pip install -e .
brew install ffmpeg # 必需
brew install yt-dlp # 可选,用于下载在线素材

# 3. 添加你的 ElevenLabs API 密钥
cp .env.example .env
$EDITOR .env # ELEVENLABS_API_KEY=...

工作原理

LLM 从不观看视频。它读取视频 — 通过两层信息,这两层共同为其提供以单词边界精度进行剪辑所需的一切。

第一层 — 音频转录(始终加载)。 每个素材源调用一次 ElevenLabs Scribe 即可获得单词级别的时间戳、说话人分离和音频事件((笑声)、(掌声)、(叹息))。所有素材打包成一个约 12KB 的 takes_packed.md — LLM 的主要阅读视图。

## C0103 (时长: 43.0s, 8 个短语)
[002.52-005.36] S0 一个网页代理所做的百分之九十的工作都是完全浪费的。
[006.08-006.74] S0 我们修复了这个问题。

第二层 — 视觉合成(按需调用)。 timeline_view 可为任何时间范围生成胶片条 + 波形 + 单词标签 PNG。仅在决策点调用 — 模糊的停顿、重拍比较、剪辑点合理性检查。

朴素方法:30,000 帧 × 1,500 个 token = 4500 万个 token 的噪声。Video Use:12KB 文本 + 少量 PNG。与 browser-use 给 LLM 提供结构化 DOM 而非截图的想法相同 — 但针对视频。

流程

转录 ──> 打包 ──> LLM 推理 ──> EDL ──> 渲染 ──> 自我评估
                                              │
                                              └─ 有问题?修复 + 重新渲染(最多 3 次)

自我评估循环在每个剪辑边界处对渲染输出运行 timeline_view — 捕捉视觉跳跃、音频爆音、隐藏的字幕。只有在通过评估后,你才会看到预览。

设计原则

完整的制作规则和编辑技巧请参见 SKILL.md。

📖 阅读原文 →