IDM-VTON:虚拟试衣技术




能够生成高度真实的虚拟试衣图像,细节更加精细。


IDM-VTON能够捕捉到服装的细节,如纹理、图案和缝线等,这些细节在试衣图像中被准确地再现。


即使是在户外或者背景复杂的照片中,这项技术也能准确地展示衣物试穿效果,保持高质量的图像输出。


在多个不同的人物上展示同一件服装时,IDM-VTON依然能保持了服装细节的一致性。


本文考虑基于图像的虚拟试穿,在给定一对分别描绘人和衣服的图像的情况下,渲染穿着精选服装的人的图像。与其他方法(例如基于 GAN)相比,之前的作品采用现有的基于样本的修复扩散模型进行虚拟试穿,以提高生成的视觉效果的自然度,但它们无法保留服装的身份。

为了克服这一限制,我们提出了一种新颖的扩散模型,可以提高服装保真度并生成真实的虚拟试穿图像。

我们的方法被称为 IDM-VTON,使用两个不同的模块来编码服装图像的语义;给定扩散模型的基础 UNet,

1)将从视觉编码器提取的高级语义融合到交叉注意力层,然后 

2)将从并行 UNet 提取的低级特征融合到自注意力层层。

此外,我们还为服装和人物图像提供详细的文字提示,以增强生成视觉效果的真实性。最后,我们提出了一种使用一对人物服装图像的定制方法,该方法显着提高了保真度和真实性。

我们的实验结果表明,我们的方法在保留服装细节和生成真实的虚拟试穿图像方面(无论是定性还是定量)都优于以前的方法(基于扩散和基于 GAN)。此外,所提出的定制方法证明了其在现实场景中的有效性。我们的项目页面提供了更多可视化效果。


如果想详细了解,可以点开视频下方的链接。

谢谢观看本视频。要是喜欢,请订阅、点赞。谢谢


项目地址:https://idm-vton.github.io

在线体验:https://huggingface.co/spaces/yisol/IDM-VTON


视频:https://youtu.be/_NyEzt8qoRI

留言