通过超球面上的对准和均一性理解对比表示学习
基于超辐角的对比学习在学习高质量图嵌入中表现良好,通过设计对齐度量和均匀性度量,解决了生态树属性和泊松球边界处的各向同态问题,实验证明了该方法在监督学习和自我监督学习中的有效性。
Oct, 2023
该论文提出了一个端到端的框架,用于在被观察和未被观察的类别上均保留对比和一致性特性的视觉 - 语义表示,通过同时进行对齐和鼓励学习特征分布均匀的监督式对比损失来促进模型的泛化能力,实验结果表明该方法在 UCF101 和 HMDB51 上的相对改进分别达到 28.1% 和 27.0%。
Mar, 2022
本文引入 PAUC 方法来学习基于原型的对比表示,以优化下游任务中需要强语义信息的有意义的表示。在各个基准测试中,实验结果证明了我们的方法在提高对比原型表示的质量方面的有效性,并在 ImageNet-100 数据集上将分类下游任务的性能提高了 2.96%,在 ImageNet-1K 数据集上提高了 2.46%。
Oct, 2022
本研究通过分析现有的均匀性度量方法的局限性,提出了一个新的均匀性度量指标,该指标能更准确地衡量学习表示的均匀性,并在各种自监督学习方法中作为辅助损失应用时显著提升它们在下游任务中的性能。
Mar, 2024
本研究探讨了在最小化损失时,编码器输出空间内所寻求的类别性空间几何是否存在本质差异。同时提供实证证据表明,两种损失函数的优化行为存在显著不同,这将对神经网络的训练产生影响。
Feb, 2021
本文提出了一种理论框架以分析对比学习的算法,并引入潜在类别假设,该框架使我们能够在平均分类任务上证明学习表示的性能。同时,该文还表明,学习表示可以降低下游任务的(标记)样本复杂度。
Feb, 2019
本文主要介绍了强化对比学习得到的表示的不变性的方法,通过引入新的正则化器、特征平均法和可微分生成过程,对旋转等变性进行限制和控制,提高了表示在后续任务中的表现和鲁棒性。
Oct, 2020
本文介绍了一种基于对比学习的自我监督表征学习方法,并将其推广到全监督设置中。其中,相同类别的样本点在嵌入空间中被拉在一起,而来自不同类别的样本则被同时推开,以实现更好的分类性能。实现简单,最佳损失函数表现优于交叉熵。
Apr, 2020