ICLRMar, 2023

自监督对比方法在长尾数据上的温度调度

PDF
TL;DR本研究分析了一种被广泛应用于自我监督学习中的对比度方法在长尾数据上的表现，发现通过动态调整温度参数可以显著提高学习表示，平衡了实例与组特征的重要性，并且在不增加计算成本的情况下，有助于完善类别的划分。
发现论文，激发创造
  • 并非所有的语义都是平等的：自对比学习与自动温度个性化

    本文提出了一种用分布鲁棒优化方法系统地优化具有个性化温度对比损失的自监督学习的方法，该方法基于数据分布特点，对超参数进行了自动调整，并在实验中表现出优于已有方法的性能。

    May, 2023

  • DySTreSS: 自监督对比学习中的动态温度缩放

    通过研究温度超参数，我们提出了一个基于余弦相似度的温度缩放函数，有效优化特征空间中样本的分布，并通过对余弦相似度空间中的均匀性和容忍度度量进行综合分析，展示了该方法在半监督学习中优于或与对比损失为基础的算法相当的性能，并为对比学习领域的未来研究奠定了基础。

    Aug, 2023

  • 理解对比损失的行为

    本文研究了无监督对比学习中对比损失的行为特性，发现一种均匀性与相似性之间的权衡关系，通过调节温度参数可以达到学习可分离特征和容错相似样本的效果。

    Dec, 2020

  • 针对长尾识别的有监督对比学习

    该论文研究了如何通过有针对性的监督对比学习，提高长尾识别中少数类的识别准确率，提出了针对性的监督对比学习方法 (TSC)，通过让不同类别的特征向量在训练过程中收敛至不同且均匀分布的目标点，从而提高了特征空间的均匀性，改善类别边界，提高了模型的泛化能力，实验结果验证了 TSC 方法在多个数据集上均取得了当下最先进的表现。

    Nov, 2021

  • 自监督长尾学习中离分布数据的有效性

    本文提出了一种使用对比学习和越界数据解决长尾数据集中深度自我监督学习（Self-supervised learning）效果不佳的技术 COLT，实验表明该方法能够显著提高长尾数据集上自我监督学习的性能。

    Jun, 2023

  • 数据有效对比自监督学习：简单样本对学习最有帮助

    该研究发现对于对比自监督 (SLL) 来说，那些与其他示例具有最相似增强的样例在学习表示方面贡献最大。此外，研究还表明，对正在进行的任务性能不会产生负面影响的情况下，可以安全地排除 CIFA100 和 STL10 分别的 20% 和 40% 示例。

    Feb, 2023

  • 探索对比学习用于长尾多标签文本分类

    我们进行了关于有监督对比学习在多标签文本分类中的影响以及如何构建稳健的表示空间的研究，提出了一种新的对比损失函数，并在三个多标签数据集上实现了显著的宏 F1 分数改进。

    Apr, 2024

  • 通过最大化潜在特征与真实标签之间的互信息进行长尾识别

    本文提出了一种集成对比学习和分类器调整技巧的方法，旨在优化长尾数据集下的表征学习。通过最大化隐变量和真实标签之间的互信息，该方法在长尾识别任务和图像分割任务中展现了领先水平。

    May, 2023

  • 自我监督到蒸馏：长尾视觉识别

    本文提出了一种 Self Supervised 到 Distillation (SSD) 的概念简单却特别有效的多阶段训练方案，通过使用软标签，此方案能够很好的将标签相关性融入到多阶段训练方案中来有效的进行长尾识别，实验表明，我们的方法在几个长尾识别基准上均取得了最先进的结果。

    Sep, 2021

  • 长尾识别的解耦对比学习

    使用监督对比损失（SCL）方法进行视觉表示学习，在长尾识别场景下，通过解耦 SCL 的训练目标和使用基于图像补丁的自我蒸馏来优化性能，实验证明该方法在长尾分类基准上具有卓越的准确率，并与集合方法相结合进一步提高性能。

    Mar, 2024