Jun, 2024

混合自然和合成图像用于鲁棒自监督表征

PDF
TL;DRDiffMix 是一种新的自监督学习（SSL）预训练框架，通过结合真实图像和合成图像，采用稳定扩散的变种来增强跨真实 - 合成图像表示的学习，从而提高了 SimCLR、BarlowTwins 和 DINO 等 SSL 方法在各种鲁棒性数据集和域转移任务上的性能。
self-supervised learningdiffmixreal imagessynthetic imagesssl pre-training
发现论文，激发创造
  • 虚拟嵌入和自一致性用于自监督学习

    TriMix 是一种自我监督学习的新概念，通过数据线性插值生成虚拟嵌入，积极探索潜在的空间扩充，其提出的方法在自我监督学习和半监督学习任务中表现良好。

    Jun, 2022

  • RealMix: 实现逼真的半监督深度学习算法

    RealMix 是一个半监督学习算法，可解决传统算法在标记数据和非标记数据分布不一致时表现不佳的问题，并在有限的数据和计算资源下取得了优异的结果。

    Dec, 2019

  • DiffuseMix：保持标签的扩充数据方法与扩散模型

    最近，引入了一些基于图像混合的数据增强技术来改善深度神经网络的泛化能力。我们提出了一种名为 DiffuseMix 的新型数据增强技术，该技术利用扩散模型重塑训练图像，并使用我们量身定制的条件提示进行监督。DiffuseMix 在包括一般分类、细粒度分类、微调、数据稀缺性和对抗鲁棒性等任务上相较于现有最先进的方法取得了优越性能。

    Apr, 2024

  • 从障碍到机遇：通过合成数据增强半监督学习

    通过分析合成图像的问题，本文提出了一种新的 SSL 方法 RSMatch 来解决混合真实和合成图像对 SSL 的影响问题，并通过实验证明 RSMatch 能够更好地利用未标记图像中的合成数据来提高 SSL 性能。

    May, 2024

  • 通过扩散模型的类间图片混合提升图像分类

    通过 Diff-Mix 方法进行图像翻译以实现数据增强，实现更好的忠实度和多样性平衡，从而在各种图像分类场景中显著提高性能。

    Mar, 2024

  • 多元化训练，不是微调：使用合成图像扩大视觉识别训练规模

    通过在大型语言模型和 CLIP 的辅助下，使用生成模型生成合成训练图像来解决类名的歧义性、缺乏多样性的问题，并利用域适应技术和辅助批归一化来减轻领域偏移，以更好地提升模型识别性能。

    Dec, 2023

  • 对比学习中的实例相似度建模

    本文提出了一种新的图像混合方法 PatchMix，用于对比学习中的视觉 Transformer，以对图像之间的相似性进行建模，并证明该方法比现有的方法在多项实验中表现更好。

    Jun, 2023

  • 多样性和扩散：对稳定扩散下合成图像分布的观察

    通过对文本到图像系统的进展和合成图像在训练和推理过程中的不足进行研究，揭示了语义不匹配、多样性缺乏和表征基础概念的无能等问题，同时提出了对 CLIP 嵌入几何的令人惊讶的见解。

    Oct, 2023

  • 通过概率多值逻辑操作在自监督学习中实现表示合成

    使用混合图像的自监督学习研究了各种图像表征。我们提出了一种基于多值逻辑的新型混合图像的自监督学习方法和新的表征格式，该格式可以指示特征占有程度，即每个图像特征被表征所占有的程度。此方法在图像分类任务中与以前的表征合成方法表现竞争力，并且还通过多标签图像分类数据集验证了特征占有程度与图像类别数量之间的关系，以验证其预期的学习成果。另外，我们还讨论了图像检索，这是使用多值逻辑的我们提出的表征格式的一个应用。

    Sep, 2023

  • 用混合样本对 Barlow 双胞胎防止过拟合

    通过引入线性插值样本，Mixed Barlow Twins 旨在改善 Barlow Twins 训练过程中的样本交互，从而有效减轻特征过拟合问题并进一步提高 CIFAR-10、CIFAR-100、TinyImageNet、STL-10 和 ImageNet 数据集的下游任务性能。

    Dec, 2023