MagicTryOn：浙江大学和vivo推出的开源视频虚拟试穿项目
文章来源：智汇AI 发布时间：2025-06-06
MagicTryOn 是浙江大学和 vivo 合作推出的开源视频虚拟试穿项目。它用视频扩散 Transformer 的 DiT 架构，让服装试穿看起来
暂无访问MagicTryOn是什么？
MagicTryOn 是浙江大学和 vivo 合作推出的开源视频虚拟试穿项目。它用视频扩散 Transformer 的 DiT 架构，让服装试穿看起来更真实、更稳当。这个项目靠全自注意力机制，保证视频各帧连贯，不会像老方法那样出现闪烁、抖动。它的主要功能有：精准保留服装细节，通过多条件引导生成更真实的试穿效果，还用掩码感知损失提升生成质量。在多个数据集上，MagicTryOn 表现很好，视觉质量和泛化能力都很强。
MagicTryOn技术原理
扩散 Transformer（DiT）架构：该架构模块化设计允许更灵活地注入条件信息，多级服装特征能有效整合到去噪过程中。其内置的全自注意力机制可联合建模视频的时空一致性，捕捉帧内局部细节和帧间动态变化。
粗到细的服装保持策略：粗策略是在嵌入阶段，将服装标记注入输入标记序列，扩展旋转位置编码的网格大小，让服装标记和输入标记共享一致的位置编码；细策略是在去噪阶段，引入语义引导交叉注意力和特征引导交叉注意力模块，提供细粒度的服装细节引导。
掩码感知损失（Mask-Aware Loss）：基于此损失，模型能更专注于服装区域的生成，提高服装区域的细节保真度和整体合成结果的真实感。
MagicTryOn主要功能
服装细节保留：可精确模拟服装的纹理、图案和轮廓，在人物运动时保持真实感和稳定性。
时空一致性建模：确保视频中各帧之间的连贯性，避免服装闪烁和抖动。
多条件引导：基于文本、图像特征、服装标记和轮廓线标记等多种条件，生成更真实、更细致的试穿效果。
MagicTryOn应用场景
在线购物：用户可在线试穿不同服装。
时尚设计：设计师能快速预览服装效果。
虚拟试衣间：为实体店提供虚拟试衣服务。
广告与营销：品牌可制作个性化试穿广告。
游戏与娱乐：在游戏中实时试穿虚拟服装。
项目链接
项目官网：https://vivocameraresearch.github.io/magictryon/
GitHub 仓库：https://github.com/vivoCameraResearch/Magic-TryOn/
arXiv 技术论文：https://arxiv.org/pdf/2505.21325
相关推荐
