对比学习用于多样性解缠前景生成
大掩蔽众生成图像修复方法,基于离散潜变量的生成框架,通过仅在图像可见位置执行计算的方式来学习潜在先验,利用限制性部分编码器预测每个可见块的令牌标签,双向转换器通过仅查看这些令牌推断缺失的标签,专用合成网络将令牌与部分图像先验相耦合,即使在极端掩蔽设置下也能生成连贯且多样的完整图像,公共基准测试表明所提方法在视觉质量和多样性指标上优于强基线模型。
Mar, 2024
通过数据驱动的前景显著性估计和复制粘贴来生成图像视图,实现对背景不变性的学习,从而训练代表性忽略背景内容并专注于前景的对比学习模型,并实现了在 ImageNet 分类和 PASCAL VOC、MSCOCO 目标检测上的显著性能提升。
Apr, 2020
本研究提出了一种基于二阶段重建管道的方法来生成真实但新颖的人物图像,该方法利用解耦表示学习各种图像因素,并同时生成新的人物图像,实验结果表明该方法不仅能够生成具有新前景、背景和姿态的逼真人物图像,还能用于人物再识别任务。
Dec, 2017
本文研究了如何在训练数据有限的情况下,通过对抗网络(GAN)学习生成模型的高效生成方法。研究发现,目前的瓶颈在于潜在空间的不连续性,并提出了 FakeCLR 方法,使用对假样本的对比学习技术提高 DE-GANs 的生成性能,实验结果表明在多个数据集上比现有 DE-GANs 提高 15% 以上。
Jul, 2022
本研究提出了 DivCo 框架,使用对比学习(contrastive learning)约束生成图像之间的正 (positive) 和负 (negative) 关系,实现条件生成对抗网络 (cGANs) 的多样性图像合成。实验结果显示,DivCo 在多种无配对和配对图像生成任务中,能够产生比其他最先进的方法更多样化的图像,而且不会牺牲视觉质量。
Mar, 2021
基于对比学习的 Video Inpainting LOcalization (ViLocal) 方案使用 3D Uniformer 编码器学习了有效的时空取证特征,通过吸引 / 排斥正 / 负原始和伪造像素对捕捉到了图像修复不一致,然后通过专门的两阶段训练策略利用轻量级卷积解码器生成了一个像素级修复定位地图,实验证明 ViLocal 优于现有技术。
Jun, 2024
通过定义多种机制以及与机制特定的潜在变量,本文证明了对比学习可以在多模式下阻止识别那些在模态之间共享的潜在因素,从而为多模式表示学习提供了理论基础,并说明了在哪些情况下多模式对比学习在实践中有效。
Mar, 2023
本文提出了一种新的对抗训练框架来完成带有分割混淆对抗训练(SCAT)和对比学习的图像修复任务。通过将 SCAT 与标准全局对抗训练相结合,该框架同时具有以下三个优点:修复图像的全局一致性、局部细节特征以及处理任意形状的缺陷。此外,我们还提出了纹理和语义对比学习的损失函数来稳定并改进我们的修复模型的训练,更好地指导修复图像从受损的图像数据点移到真实图像数据点。在两个基准数据集上的广泛实验表明,我们的模型在定性和定量上都具有良好的效果和优越性。
Mar, 2023
本文提供了一种使用预训练网络来学习数据的解缠表示的方法,以实现最小的监督,同时展示了该方法在头部图像领域上成功将身份从其他面部属性中解缠并显示出较好的评估结果。
May, 2020