Sep, 2022

大型预训练语言模型微调的多目标优化方法：监督对比学习

PDF
TL;DR将 SCL 问题描述为 RoBERTa 语言模型精调阶段的多目标优化问题，使用线性标量化方法和精确 Pareto 最优解法解决优化问题，在多个 GLUE 基准任务上，无需使用数据增强、存储器库或生成对抗性示例，找到了比竞争对比学习基线更好的学习策略。
supervised contrastive learningmulti-objective optimizationrobertaglue benchmark taskslearning strategy
发现论文，激发创造
  • 预训练语言模型微调的监督对比学习

    通过构建 SCL 算法，并将其应用到先前基于 RoBERTa-Large 模型的建议中，提出了一种新的有监督对比学习优化目标，用于自然语言理解任务的微调，在少样本学习设置下，相比于传统 CE 损失函数，该方法在多个数据集上均有显著的改进，可以更好地处理数据噪音并更好地推广至相关任务。

    Nov, 2020

  • 有监督对比损失学习正交框架及批次关系

    本文通过实验证明：监督对比损失学习到的嵌入空间的几何结构形成正交框架，而交叉熵损失学习到的嵌入空间的几何结构高度依赖于类大小；同时，通过选取不同的数据分组算法，加快正交框架的出现，为监督学习提供一种新的训练策略

    Jun, 2023

  • 长尾识别的解耦对比学习

    使用监督对比损失（SCL）方法进行视觉表示学习，在长尾识别场景下，通过解耦 SCL 的训练目标和使用基于图像补丁的自我蒸馏来优化性能，实验证明该方法在长尾分类基准上具有卓越的准确率，并与集合方法相结合进一步提高性能。

    Mar, 2024

  • 揭示和克服监督对比学习中的标签噪音挑战

    我们提出了 D-SCL，这是一种新颖的去偏差的监督对比学习目标，旨在减少标记错误引入的偏差，并证明了 D-SCL 在各种视觉基准上稳定优于最先进的表示学习技术，提供了对标签错误的改进的鲁棒性。

    Nov, 2023

  • 面向会话推荐的自对比学习

    本研究提出自我对比学习算法，并将其应用于会话推荐问题中，以优化物品表示空间的均匀度和减少模型复杂度，进而实现比之前的算法更好的预测性能。研究证明，该算法不需要额外的采样和数据增强操作，并在三个基准数据集上得到了统计上显著的性能提升。

    Jun, 2023

  • 主题建模的多目标对比优化

    通过引入一种新的基于主题向量集合的对比学习方法，并将其明确地作为基于梯度的多目标优化问题，本研究旨在实现一个平衡 ELBO 和对比目标之间的权衡的帕累托稳定解，广泛的实验证明我们的框架在主题连贯性、主题多样性和下游性能方面始终产生更高性能的神经主题模型。

    Feb, 2024

  • 监督对比损失的神经坍缩几何工程

    我们提出了一种修改对比损失函数来调整学习特征嵌入几何结构的方法，通过使用原型在每个批次中引导学习嵌入和原型的几何一致性，并在深度神经网络上基于基准视觉数据集进行了一系列实验证实。

    Oct, 2023

  • 预训练句子嵌入的相互强化框架

    本研究基于自监督对比学习方法，提出了一种名为 InfoCSE 的新型框架，用于解决手工数据注释不可靠的问题，通过迭代的自我监督和数据标注反馈，实现了句子表示模型和数据注释方法的相互协作，有效提高了自监督学习的效果。实验证明，该方法在三个基准数据集上取得了显著的改善。

    Feb, 2022

  • 相似性协同校准的半监督对比学习

    本文提出一种半监督对比学习 (Semi-supervised Contrastive Learning，简称 SsCL) 的训练策略，将自监督学习中著名的对比损失与半监督学习中的交叉熵损失相结合，进而联合优化两个目标，并使用神经网络来实现。结果表明，SsCL 产生了更具有区分性的表示，并对于少样本学习非常有益。在使用 ResNet50 作为后端的 ImageNet 数据集上，SsCL 分别以 1% 和 10% 的标记样本获得了 60.2% 和 72.1% 的 top-1 精度，这比基线要好得多，也优于以前的半监督学习和自监督学习方法。

    May, 2021

  • 时间序列预测中构成良好对比学习的因素是什么？

    本文通过系统分析不同的自监督对比学习策略及变量间的相互作用，发现使用 Transformer 模型综合优化 Mean Squared Error (MSE) 损失和自监督对比学习 (SSCL) 是进行时间序列预测的最有效的方法，并可优化预测结果的准确性。

    Jun, 2023