原生统一多模态模型理解与生成的协同机制研究

尽管统一多模态模型（UMMs）在单个模型内联合执行视觉理解和生成，但功能上的统一并不能保证学习协同：这两个目标可能相互强化、争夺计算资源，或仅仅共存。我们在一个受控的、结构原生且无预训练视觉先验的环境中，从表示层、任务层和系统层三个层面研究了它们之间的关系。在表示层，我们发现每个目标都为另一个提供了有用的信号：生成丰富了为理解而学习的视觉特征，而理解则加强了用于生成的视觉-语言对齐。然而，当两个目标被迫通过相同的计算路径时，其中一个往往会占据主导。一种任务解耦架构在保持语义交互的同时专门处理冲突的视觉计算，从而避免了这种不对称的性能退化。在任务层，通过三个案例研究，我们发现当理解和生成任务依赖于共享知识时，存在正向的双向迁移。在系统层，我们表明，在明确要求图像理解和生成的复杂任务上，端到端的 UMM 优于匹配的规划器-执行器流水线。综上所述，这些结果表明 UMMs 的价值超越了统一的接口：适当的专门化、共享的任务知识以及端到端优化可以将共存转化为协同效应。