May, 2023

探索对比学习中的归纳偏置：一种聚类视角

PDF
TL;DR本文研究了对比学习和监督学习方法之间数据组织的差异，关注局部密集簇的概念。我们介绍了一种新的度量方法，相对局部密度（RLD）, 用于量化簇内的局部密度。通过比较对比学习和监督学习形成的聚类，我们发现对比学习生成了没有全局密度的局部密集簇，而监督学习则生成了局部和全局密度的簇。我们进一步探讨了使用图卷积网络（GCN）分类器作为处理局部密集簇的线性分类器的替代方法。最后，我们利用 t-SNE 可视化来证明对比学习和监督学习方法生成的特征之间的差异。我们提出了未来的研究方向，包括开发针对对比学习进行优化的有效分类器和创新的增强算法。
发现论文，激发创造
  • 用对比学习支持聚类

    该论文提出了 SCCL 框架，使用对比学习来帮助无监督聚类，有效提升类别间距离，进而在短文本聚类中达到更好的结果。研究表明，SCCL 能够显著提高精度和归一化互信息，同时有效结合自下而上的实例判别和自上而下的聚类来实现更好的聚类效果。

    Mar, 2021

  • 对比学习是基于相似度图的谱聚类

    本文研究了对比学习的等价性和理论基础，并建立了对比学习与谱聚类算法之间的等价性。同时，我们探讨了多模态对象是如何相似地嵌入在一起的，并提出了一种新的核混合损失，相较标准高斯核在几个视觉数据集上有更好的表现。

    Mar, 2023

  • 语义对比学习的深度聚类

    本文提出了一种语义对比学习的方法（SCL），将距离的聚类结构引入到无标注数据的特征空间中，并通过优化实例视觉相似性和聚类决策边界的一致性来推理出语义上的实体类别，以在发现未知类别决策边界方面具有显着优势。实验证明，SCL 在六个物体识别基准测试中优于最先进的对比学习和深度聚类方法，尤其是在更具挑战性的精细和较大的数据集上。

    Mar, 2021

  • 使用监督对比学习学习标签层次

    我们介绍了一种 Label-Aware SCL 方法，通过利用类别之间的相似性，将层次信息融入到 SCL 中，从而创建一个更结构化和具有辨别性的特征空间，实现了更好的文本分类性能。

    Jan, 2024

  • LocalGCL：基于局部感知的图形对比学习

    局部感知图对比学习 (LACL) 是一种自监督学习框架，通过基于掩膜的建模补充性地捕捉局部图信息，相对于纯粹的对比学习，有效解决了在应用于图数据时过于强调全局模式而忽略局部结构的问题。实验结果验证了 LACL 方法优于当前最先进方法，展示了其作为一种全面的图表示学习器的潜力。

    Feb, 2024

  • 对比学习中归纳偏置的理论研究

    本研究针对自监督学习提供了首个理论分析，其中包括来自模型类祖产的归纳偏差的影响。我们特别关注对比学习 - 一种在视觉领域广泛使用的自监督学习方法。我们发现，当模型具有有限的容量时，对比表示将恢复与模型结构兼容的某些特殊聚类结构，但忽略数据分布中的许多其他聚类结构，从而捕捉了更加现实的情景。我们将理论实例化为几个合成数据分布，并提供实证证据来支持该理论。

    Nov, 2022

  • 基于邻域排序的图像软对比学习

    本文提出了一种新的图形无监督学习方法，名为 Graph Soft-Contrastive Learning (GSCL)，它能够通过邻域排序进行自我监督学习，而无需依赖于二元对比设置，并且还提出了 GSCL 所需的成对和列表式门控排名 infoNCE 损失函数，以保留邻域中的相对排序关系。

    Sep, 2022

  • 基于对比学习的混合网络用于长尾图像分类

    本文研究基于对比学习的监督式分类学习策略，提出了一种混合网络结构，用于从不平衡的数据中学习更好的图像表征，以提高分类精度。具体而言，我们探索了两种对比损失的变体，以推动特征学习，从而实现更好的分类器。实验结果表明，基于对比学习的混合网络在长尾分类中优于传统方法。

    Mar, 2021

  • 地理感知的自监督学习

    本研究旨在将对比学习方法应用于地理定位的数据集上，通过利用遥感数据的时空结构设计预处理任务和构建时空正对来消除对比学习和监督学习之间的差距，并在遥感图像分类、目标检测和语义分割等任务上展示该方法的有效性，同时还表明该方法可以应用于地理标记的 ImageNet 图像并提高相应任务的性能。

    Nov, 2020

  • 基于聚类和对比的三维点云无监督学习

    本文提出了一种名为 ConClu 的通用无监督方法，它通过联合使用点级聚类和实例级对比来实现点和全局特征的学习。实验评估结果表明，该框架在 3D 物体分类和语义分割等下游应用方面具有很好的性能，可以胜过现有技术。

    Feb, 2022