双向置换分离
提出一种名为 SW-VAE 的新型弱监督训练方法,该方法利用数据集的生成因素将输入观测对作为监督信号进行训练,并且引入了逐渐增加学习难度的策略来平滑训练过程。通过多个数据集的实验证明,该模型在表示分离任务上显示出明显的优于最先进方法的改进。
Sep, 2022
我们开发了一种名为 DualContrast 的新型自监督方法,专门用于解决与形状相关的图像数据集中的内容和变换的无监督分离问题。我们的广泛实验证明了 DualContrast 相对于现有的自监督和显式参数化方法的优越性。我们利用 DualContrast 在细胞 3D 蛋白质图像中分离了蛋白质的身份和构象,以及在 MNIST、Linemod Object 数据集中的视角以及在 Starmen 数据集中的人体运动变形作为变换。
May, 2024
本文提出一种基于 GAN 模型的高分辨率人脸交换方法,通过显式地将潜在空间的语义进行分离,并通过引入基于地标的结构转换潜在方向来分离结构属性中的身份和姿态信息,进而获得丰富的生成特征。通过加入空间 - 时间约束,将这种方法进一步扩展到视频人脸交换,并在实验证明,该方法在幻觉质量和连续性方面优于现有方法。
Mar, 2022
本文提出了一种基于生成对抗网络和自动编码器的双向图像转换方法,通过交叉域解缠表示技术,将内部表示分离成共享部分和专有部分,并可在不需要标注数据的情况下实现多模数据分布下的区分和检索。在多模图像翻译任务中,该模型优于现有的最新模型,并在具有挑战性的数据集上表现出更好的结果。
May, 2018
本文研究了如何在无监督学习的情况下,学会将 A 和 B 两个不同的数据领域进行映射,以使得 B 中的信息包含 A 中的所有信息并且增加一些附加信息。为此,采用了一个双通路编码器和一个解码器,并且采用了一些损失函数对两个域进行重建和区分度优化。实验结果表明,该方法比文献导向的翻译方法更为简单,并且在一些视觉领域中取得了令人信服的结果,例如 no-glasses 到 glasses 以及基于参考图像添加面部毛发等。
Jan, 2020
通过多角度自监督解缠方法 (MeD),本文在合成噪声和真实噪声的实验分析中展现了该方法在未见过的新噪声类型上相对于之前的自监督方法的卓越性能。在真实噪声上,该方法的性能甚至超过了其监督对照组超过 3 dB。
Sep, 2023
本文提出了一种直观而有效的自监督方法,通过跨不同形状交换任意特征来培训三维形状变分自编码器,从而鼓励特征的解缠缚潜在表示。实验结果表明,我们开发的方法正确解耦了身体和面部特征的生成,同时保持了良好的表示和重构能力。
Nov, 2021