Jul, 2021

使用弱数据增强进行关系自监督学习的 ReSSL 算法

PDF
TL;DR本文提出一种新的自监督学习方法 —— 关系自监督学习 (ReSSL) 框架，通过建模不同实例之间的关系来学习表示，采用成对相似度的锐化分布作为关系度量来匹配不同增强的特征向量，实验结果表明我们的方法在性能和训练效率方面显著优于先前的最先进算法。
self-supervised learningrelational self-supervised learningvisual representationspairwise similaritiesweak augmentations
发现论文，激发创造
  • 自监督学习的逆向工程

    本文深入分析了自监督学习的机制以及其对表示学习的影响，揭示了自监督学习在样本聚类方面的潜在驱动作用，同时证实了该方法所训练的表示与语义类别之间存在着密切的对齐关系，并且这种对齐关系随着训练和网络深度的加深而不断增强，这对于提高自监督学习方法的性能和效果具有重要的理论和实际意义。

    May, 2023

  • 基于数据增强和一致性训练的半监督关系抽取

    本篇研究项目中，我们通过控制文本生成的最新技术，进行了高质量的数据增强，同时引入了模型架构的小而显著的改变，从而使得数据插值后进行更多的训练数据生成。这些数据增强方法，结合了稳健性训练，得到了在四个基准数据集上半监督关系提取的非常有竞争力的结果。

    Jun, 2023

  • 自监督学习对数据集失衡更具鲁棒性

    本文通过广泛的实验和理论分析，系统研究了在数据集不平衡的情况下自监督学习的表现，并通过半合成实验验证了 SSL 学习了与标签无关但可转移的特征，进而提出了一种新的加权正则化技术，显著提高了 SSL 表示的质量。

    Oct, 2021

  • ExGRG: 显式生成关系图用于自监督表示学习

    自我监督学习已成为一种强大的技术，通过利用未标记数据中的嵌入信号而不依赖昂贵的注释标签来预训练深度学习模型。本文介绍了一种新的非对比自我监督学习方法，以显式生成组合关系图（ExGRG）来克服图结构数据的语义改变和反直觉性增强的挑战，并展示其在图表示学习中的优越性。

    Feb, 2024

  • ArCL：通过增强鲁棒性表示来增强对比学习

    本文开发了一个理论框架以分析自我监督对比学习的可转移性，结果表明对比学习的下游表现在很大程度上取决于数据增强的选择，但对比学习无法学习域不变特征，即其可转移性受到限制。基于这些理论洞见，我们提出了一种新的方法 ArCL，它保证学习域不变特征，并可以轻松地与现有的对比学习算法集成。我们在几个数据集上进行实验，显示了 ArCL 显着提高了对比学习的可转移性。

    Mar, 2023

  • 自监督对比学习的几何理解

    本文研究了自监督学习中编码器和映射器的关系，发现数据增强策略的增加会导致映射器变得更加不变，从而学习将数据投影到低维空间中，具有理论和实验结果的几何学解释。

    May, 2022

  • 利用关系知识蒸馏提升对比学习

    通过引入异构的 teacher 和 relation-wise 对比学习，我们成功地解决了在轻量级模型中进行 instance-wise 对比时在语义空间中容易崩溃的问题，并通过 AlexNet 线性评估验证了该方法的有效性，达到了接近于有监督学习的 50.5% 的水平。

    Dec, 2021

  • SSL 交互作用：扩充、归纳偏差，与泛化

    本文对自我监督学习的理论与实践中被忽视的问题进行了分析，阐述了数据增强、网络结构和训练算法对于预训练和下游任务泛化性能的影响，并为自我监督学习的从业者指出了一些有价值的见解。

    Feb, 2023

  • 数据有效对比自监督学习：简单样本对学习最有帮助

    该研究发现对于对比自监督 (SLL) 来说，那些与其他示例具有最相似增强的样例在学习表示方面贡献最大。此外，研究还表明，对正在进行的任务性能不会产生负面影响的情况下，可以安全地排除 CIFA100 和 STL10 分别的 20% 和 40% 示例。

    Feb, 2023

  • 带有少量标注的半监督学习

    本文提出一种新的 SSL 算法，通过引入转移学习和自主监督来初始化数据的表示，再利用新算法，交替拟合有标签和无标签点以降低过拟合和避免标签和无标签损失平衡的问题。实验证明，该方法在标准基准测试中表现优异，特别是在从其他任务或数据集中细化时，效果更佳。

    May, 2019