DuoMatching团队 投稿
量子位 | 公众号QbitAI
在视频生成领域，少步视频模型已经实现只需少量采样步骤，就能生成连续画面。
但速度上来了，带来的问题是，画面里的细节、材质，以及提示词要求的内容，可能打折扣。
怎样在保留实时生成能力的同时，进一步改善画面细节与提示词表达？
来自香港中文大学MMLab、字节跳动及香港科技大学的研究团队提出了DuoMatching。它让视频生成器同时接受联合分布监督与帧级边缘分布监督，把互补的视觉与语义先验带入少步视频生成。
这套方法在训练阶段引入图像先验，不增加推理计算。在论文的逐帧2步设置下，VBench总分从80.67提升到83.53；相对人工评测中的四个基线，整体偏好率均超过80%。
△举牌猫、人物、海岸与陶瓷猫四个案例，以滑动切换展示Causal Forcing++与DuoMatching的画面差异。
少步生成之后画质还有哪些提升空间
流式视频生成需要一边生成新画面，一边接住已有内容。分布匹配蒸馏（DMD）让少步学生模型学习预训练视频教师所近似的视频分布，已经能够缓解自回归生成过程中逐渐出现的画质退化。
不过，退化变少并不意味着每一帧都足够好。研究团队观察到，蒸馏后的视频仍存在视觉质量差距，部分提示词要求也没有充分呈现。例如，毛发与材质细节不够丰富，或者漏掉文本指定的外观特征。在减缓画质退化之后，仍需要进一步改善画面本身。
DuoMatching因此从两个层面组织监督：既关注完整视频的联合分布，也直接关注从视频中抽取的单帧分布。图像生成模型积累的视觉与语义先验，为后一个目标提供了补充。
完整视频与单帧画面一起接受指导
可以把联合分布匹配理解为“看整段视频”：它同时涉及画面内容与跨帧关系。帧级边缘分布匹配则是“看抽样画面”，对单帧的视觉细节和文本匹配提供直接指导。联合匹配本身也会约束单帧分布，但在共享参数下，单帧质量与跨帧关系需要共同优化，额外的帧级监督可以提供互补信号。
具体来说，DuoMatching保留原有的joint DMD，再加入图像教师提供的marginal DMD，用一个权重控制后者的强度。两项目标共同更新视频生成器。图像教师参与的是训练中的分布监督，并不需要先生成一张“标准图片”，再要求视频的每一帧都照着它变化。
△DuoMatching以联合与边缘分布匹配共同训练视频生成器，LatentBridge和LVS负责把帧级监督接入视频潜空间
让图像先验进入压缩的视频潜空间
目标确定后，还有一个实际障碍：图像模型和视频模型使用的内部表示并不相同。现代视频VAE会沿时间轴压缩，多帧信息可能被放进同一个潜变量切片。直接把这样的切片交给图像教师，相当于让它把一组混合的时序信息当成一张图，监督对象就错位了。
LatentBridge把视频表示映射为单帧表示
最直接的办法，是先把视频潜变量解码成画面，再用图像VAE重新编码，但完整的解码与编码链路会带来较高训练开销。DuoMatching用一个轻量的LatentBridge学习这一步映射：结合当前潜变量切片、前一个切片和局部帧索引，输出图像教师能够使用的单帧潜变量。
LatentBridge预训练后冻结参数，视频生成器仍能通过它接收帧级监督的梯度。消融实验中，直接监督压缩潜变量时，动态程度得分为76.94；使用LatentBridge后为93.61。这说明，要把图像先验用好，先对齐监督所作用的表示非常关键。
元股证券:ygzq.hkLVS把有限监督分配给不同时间段
视频里的相邻帧往往十分相似。如果抽到的帧集中在同一个时间段，图像教师可能反复检查几乎一样的内容。Latent Variation Sampling（LVS）根据相邻潜变量的变化量划分时间段，再从各段抽样，让有限的帧级监督覆盖更多不同的内容状态，减少重复。
LatentBridge解决“图像教师怎样看懂视频表示”，LVS解决“把监督用在哪些位置”。两者都服务于训练过程，推理时仍使用原有的视频生成器，因此无需把图像教师或桥接模块部署到生成链路中。
画质提升之后运动动态基本保持
研究团队在双向、逐帧自回归和分块自回归三种生成设置中验证了DuoMatching。以逐帧2步设置为例，相比Causal Forcing++，VBench总分提升2.86分，语义、美学与成像质量得分均提高。
△不同方法应在相同生成模式和步数下比较
运动方面，动态程度从94.44小幅变为93.61，运动平滑度从98.20变为98.39。结合质量评测与视觉对比，论文的总体结果是提升视觉质量、构图和语义对齐，同时基本保持运动动态。这也回答了引入图像监督后的一个关键问题：画面更好看时，视频仍然保有动态变化。
人工评测进一步检查这些提升能否被观众感知。23位参与者每人比较40对由相同提示词生成的视频，采用二选一方式评价。相对CausVid、Causal Forcing++、One-Forcing和Reward Forcing，DuoMatching的整体偏好率分别为91.30%、80.87%、94.35%和83.91%。这些百分比表示成对比较中选择DuoMatching的比例。
△每屏上下两组案例，左侧为画面标注的基线，右侧为DuoMatching。依次展示Causal Forcing++、Reward Forcing、One-Forcing和CausVid。
对于需要连续输出、及时反馈的视频生成系统，DuoMatching提供了一条从训练监督入手改善质量的路径：在保留少步推理效率的同时，让图像模型积累的先验也能用于视频生成。
论文已在arXiv公开，代码与模型权重也已开放。项目主页提供更多生成结果、提示词和成对对比，便于进一步观察细节、语义与动态表现。
论文标题：DuoMatching: Joint-Marginal Distribution Matching for Few-Step Video Generation
论文：https://arxiv.org/abs/2610.03543
项目主页：https://johnzhan2023.github.io/DuoMatching/
代码：https://github.com/JohnZhan2023/DuoMatching
模型：https://huggingface.co/JohnZhan/DuoMatching
一键三连「点赞」「转发」「小心心」
欢迎在评论区留下你的想法！
— 完 —
【学术投稿】请在工作日发送邮件至：ai@qbitai.com，标题注明【投稿】，并告诉我们：你是谁，从哪来，投稿内容附上项目/主页链接，以及联系方式。
🎓 我们会 (尽量) 及时回复你 :)
🌟 点亮星标 🌟
科技前沿进展每日见上海股票配资信息门户
配资查询网提示：本文来自互联网，不代表本网站观点。
- 上一篇：股票配资杠杆怎么选 对话图灵奖得主希发基思：百亿英里仿真里程证明不了Robotaxi安全
- 下一篇：没有了
相关文章