Diffusion Studio Editor:为AI
[开源分享] Diffusion Studio Editor
做视频生成或 Agent 工具链的同学值得关注,这个编辑器把代码即文档和双向同步做到了产品级,还专门为 Agent 设计了可编程的 CLI 接口,建议直接跑一下它的 skills 仓库看看 dapi 的抽帧和转录能力。
[开源分享] Diffusion Studio Editor
来自 @diffusionhq 团队,专为 AI Agent 设计的开源专业视频编辑器,用 SolidJS 代码作为视频的"文档源",让人类在画布上编辑、让 Agent 通过 CLI 编辑,两者操作同一份代码 。 https://github.com/diffusionstudio/editor
核心理念:代码即文档,双向同步 这是该项目最本质的设计决策,也是它与 Remotion 等"代码生成视频"方案的关键区别: 正向:项目就是一个 JSX 文件文件夹,入口默认导出一个 Solid 组件。保存文件 → 重新编译 → 直接挂载进编辑器的 ECS 世界,画布重绘。 反向:每个元素都携带 id,在画布上拖动矩形、在时间轴上裁剪片段、修改文字,都会回写成对应元素的 props 到源码里。 类比:它是一台 IDE,只不过渲染的不是文本而是视频画布。Agent 写代码能做到的事,人可以在 UI 上接着做,反之亦然——没有"导出即脱离"的断层。
Agent 工作流:这是真正的产品重心 项目分两个仓库:editor(本体)+ skills。 /editor 技能:自然语言驱动剪辑。背后是 dapi CLI,通过本地 socket 与运行中的应用通信。 解决"Agent 看不见视频"的问题,这是整套工具链最有价值的部分: · dapi media probe/grab/filmstrip — 元数据、抽帧、帧网格图 · dapi media waveform/transcribe/listen — 波形图(标注静音)、词级时间戳转录、多模态模型"听"音频 · dapi capture — 按导出管线渲染场景帧,供 Agent 自检画面 · dapi check — 结构体检(黑帧空隙、永不可见节点、失效源) CLI 设计纪律:stdout 一律 JSON/JSON Lines、错误走 stderr、退出码语义化——明确为"被程序管道驱动"而非被人读而设计。 声明式生成:generate.image/video(...) 写在代码里,与实拍素材一同合成进时间轴。
目标场景 视频剪辑(raw footage → 成片)、动态图形(片头/促销/解释动画)、生成式资产合成、长视频切条(→ 竖屏社媒格式)、视频理解(带时间戳的摘要/场景检索/引语提取)。
更进一步:量化金融体系
看懂新闻只是起点——沿量化金融路径,把它变成能交付的工程能力