跳到主内容
@wquguru
精选86小互模型发布/更新

微软开源 Code Video Model:用代码生成视频

微软开源 Code Video Model 模型:用代码生成视频

原文
发到 X
推荐理由

微软开源了这种将代码控制与扩散模型结合的新范式,解决了视频生成不可控的痛点,做 AIGC 的同学值得研究其架构思路。

微软开源 Code Video Model 模型:用代码生成视频

微软研究院推出了一套新的视频生成方案:Code Video Model(代码视频模型)。

它让 AI 生成视频少一些“开盲盒”,先用写代码的方式,明确画面布局、动作轨迹和物理运动

到了后面的细节打磨阶段,就撤掉代码参考,根据参考图片去还原真实质感和细节

学电影拍片,“先画火柴人骨架,再让画师上色”

这套技术借鉴了传统电影工业中的前期可视化预览(Previs)机制:先用简易三维场景预演机位、演员走位和镜头节奏,确认安排后,再投入正式拍摄与后期制作。

你给它一句提示词,它先写一段代码(用类似网页 3D 引擎),在虚拟空间里把舞台、桌椅、角色和摄像机机位精确摆好,连运动轨迹和物理碰撞公式都算好。

这时会先跑出一个类似“低配游戏画面”的动态小样。如果你觉得椅子放歪了,改一行代码立刻就能纠正。

有了低精度的代码视频后,怎样把它变成逼真的最终成片?

这里存在一个关键挑战:如果直接把代码视频作为参考条件全程输入给视频扩散模型,AI 容易连同它的简陋几何和平坦材质一起模仿,导致成片仍有“塑料感”。

为了解决这个问题,研究团队提出了一种无需重新训练的调度机制:早期步数条件注入(Early-step Conditioning)。

只在扩散采样的最前几步让模型参考代码视频来“定构图和动作骨架”;到了后面的细节打磨阶段,就撤掉代码参考,全力根据参考图片去还原真实质感和细节。

更进一步:量化金融体系

看懂新闻只是起点——沿量化金融路径,把它变成能交付的工程能力

进入量化体系 →

相似阅读

关联信息,但可能不是同一事件