AAAIMar, 2020

Un-Mix: 重新思考无监督视觉表示学习中的图像混合

PDF
TL;DR该论文提出了一种基于标签空间的无监督学习方法 (Un-Mix)，通过混合输入数据进行联合工作，从而学习到更加精细、鲁棒且广义的表示。实验证明，在 CIFAR-10、CIFAR-100、STL-10、Tiny ImageNet 和 ImageNet 等数据集上，该方法均可以在保持基本方法的超参数和训练程序不变的条件下，显著提高模型的泛化性能。
unsupervised learningsiamese-like frameworklabel spaceimage mixturesubtle variance
发现论文，激发创造
  • MixCo：视觉表征的混合对比学习

    本篇论文提出一种名为 MixCo 的半阳性对比学习方法，它可以通过学习混合图像的相关相似度，有效提高自我监督学习中的图像表示性能。在实验中，MixCo 在 TinyImageNet、CIFAR10 和 CIFAR100 等基准测试集上一致地提高了测试准确率，且当模型大小等学习能力受限时，改进效果更为显著。

    Oct, 2020

  • 使用无约束未标记数据扩大半监督学习规模

    提出了一种名为 UnMixMatch 的半监督学习框架，该框架可以从无约束的未标记数据中学习有效表示，以提高性能。它由三个组件组成：具有硬增强的监督学习器提供强大的正则化，对照一致性正则化器从未标记数据中学习底层表示以及自监督损失用于增强从未标记数据中学习的表示。在 4 个常用数据集上进行了实验，在现有的半监督方法上表现出卓越的性能提高 4.79%。广泛的消融和敏感性研究表明了我们方法的每个提出组件的有效性和影响。

    Jun, 2023

  • 探究图像间不变性以实现无监督视觉表示

    本研究通过对伪标签的维护、采样策略和决策边界的设计进行了综合实证研究，提出了一种统一的通用框架，支持无监督内部和跨图片不变性学习的集成。通过精心设计的比较和分析，我们揭示了多个有价值的观测结果，并展示了最终模型 InterCLR 在多个标准基准测试中对内部图像不变性学习方法的稳定改进。我们希望这项工作能为制定有效的无监督跨图片不变性学习提供有用的经验。

    Aug, 2020

  • 对比学习的硬负样本混合

    研究表明，在自监督学习中使用 hard negatives, 数据混合等技术可以提高视觉表示的质量，本文提出了一种基于特征水平的硬负例混合策略，并在多个任务上验证其有效性。

    Oct, 2020

  • 自监督对比学习的约束多视图表示

    基于表示距离的互信息最大化方法用于量化不同视图的重要性，进而实现更高效的对比学习和表示解耦。通过在频率域提取多视图表示，并基于不同频率之间的互信息重新评估其重要性，本文提出的框架能够有效约束互信息最大化驱动的表示选择，推动多视图对比学习。

    Feb, 2024

  • i-Mix：一种领域无关的对比表示学习策略

    本文介绍一种名为 i-Mix 的简单而有效的域不可知正则化策略，用于改进对比表示学习，并验证了该策略在图像、语音和表格数据等不同领域中的有效性。

    Oct, 2020

  • MixMatch: 半监督学习的整体方法

    本研究提出了一种半监督学习算法 MixMatch，采用猜测低熵标签的方法，通过使用 MixUp 混合标记和未标记的数据来处理扩充后的未标注样例。实验结果表明，MixMatch 在许多数据集和标记数据量上都取得了大幅度的优越结果，同时也证明了 MixMatch 如何帮助实现更好的准确性和隐私权的权衡。最终，我们进行了消融研究来分离 MixMatch 的哪些组件对其成功最为重要。

    May, 2019

  • ViewMix: 强化自监督学习中稳健表征的增广

    通过引入 ViewMix 增强策略，该研究提出了一种特别为自监督学习设计的方法，在生成同一图像的不同视图时，将图像的补丁从一个视图剪切并粘贴到另一个视图，通过利用这种增强策略所创建的不同视图，多种基于联合嵌入的自监督学习方法具有更好的定位能力并在一致性上胜过相应的基准方法，实验证明引入 ViewMix 增强策略有助于提高目前最先进方法中的表示的鲁棒性，并且计算时间的实验和分析表明，与其他对应方法相比，引入 ViewMix 增强策略没有引入额外的开销。

    Sep, 2023

  • 无监督学习视觉表示的对比方法再探

    本文将需要自我学习来改进现有模型的数据集偏差性进行了深入研究，并成功地在不同类型数据集上改善了模型，同时介绍了一种具有多尺度裁剪、强数据增强和近邻策略的改进自监督学习方法，并通过 MoCo 模型在语义分割和视频实例分割任务中实现了优秀的效果。

    Jun, 2021

  • 对比学习的好视角是什么？

    这篇论文研究不同视角之间的关联性对于对比学习在无监督和半监督任务中的重要性，并提出通过减少视角之间的互信息来学习有效的视角以提高下游任务的准确性。同时，作者在 ImageNet 分类和 PASCAL VOC 目标检测以及 COCO 实例分割任务上通过对比实验展示了他们提出方法的高效性。

    May, 2020