Feb, 2021

通过对比正则化微调释放对比自监督视觉模型的潜能

PDF
TL;DR本文提出了一种叫做对比正则化调整的方法，把对比自监督学习应用在 Fei-tuning 中，用一种新颖的硬配对挖掘策略实现更有效的对比式 Fei-tuning，并平滑决策边界以更好地利用学习的判别式特征空间，证明了这种方法在图像分类和语义分割任务中的有效性。
contrastive self-supervised learningfine-tuningcontrast-regularized tuningdiscriminative representation learningmodel optimization
发现论文，激发创造
  • 预训练语言模型微调的监督对比学习

    通过构建 SCL 算法，并将其应用到先前基于 RoBERTa-Large 模型的建议中，提出了一种新的有监督对比学习优化目标，用于自然语言理解任务的微调，在少样本学习设置下，相比于传统 CE 损失函数，该方法在多个数据集上均有显著的改进，可以更好地处理数据噪音并更好地推广至相关任务。

    Nov, 2020

  • 一种用于时间序列的监督对比学习预训练 - 微调方法

    引入一种新的预训练程序，利用有监督对比学习来区分每个预训练数据集中的特征，进而通过将目标数据与预训练数据集的学习动态更加紧密地对齐，以提高目标数据的准确预测。

    Nov, 2023

  • 连锁原型对比学习

    本研究提出了一种简单而有效的对比学习框架来解决 Contrastive Self-supervised Learning (CSL) 中样本不足问题，将同一个输入的不同视角拉近，不同输入的视角推远，提高了视觉表征的质量，并在 ImageNet-1K 数据集上表现出了超越完全监督训练版本的性能。

    Aug, 2022

  • 使用弱监督微调预训练语言模型：一种对比正则自训练方法

    该研究通过开发一种对比自训练框架 (COSINE) 来解决使用弱监督 fine-tune 预训练语言模型 (LMs) 时的过拟合问题，实验证明该方法在自然语言处理的多个任务中表现优异。

    Oct, 2020

  • 调整后的对比学习

    本文提出了一种基于对比学习的新的损失函数 TCL，该函数能够推广到批处理的多个正负样本，同时提供了参数来调整梯度响应，优化了难例的响应，理论和实验都证明了它的效果优于 SupCon

    May, 2023

  • 对比对抗和扩散：探索沟回识别的预训练和微调策略

    本研究旨在通过评估计算机视觉中的预训练技术和微调策略优化神经网络的学习过程，探讨其在独立相同分布群体中的优势。我们通过使用包含 596 个对象的 TOP-OSLO 群体，利用不同的三维卷积神经网络体系结构，在多任务分割 - 分类挑战中，实证地展示了我们的研究结果。

    May, 2024

  • 对比学习的少样本分类

    本文提出了一种新的对比学习框架，将其无缝地整合到预训练阶段和元训练阶段，以提高少样本分类的性能，并使用交叉视图的情节训练机制进行最近的质心分类，并采用基于距离缩放的对比损失。

    Sep, 2022

  • 图分类的对比自监督学习

    本研究提出了两种基于对比自监督学习（CSSL）的方法来缓解过拟合的问题，具体地，我们使用 CSSL 对图形编码器进行预训练，并在标记后的图形上调整预先训练的编码器。我们还开发了一个基于 CSSL 的正则化器，同时解决监督分类任务和无监督 CSSL 任务。通过数据增强的方式，定义了对比损失来学习图形编码器。实验结果表明，我们提出的方法在各种图形分类数据集上都非常有效。

    Sep, 2020

  • 对比学习何时能从预训练到微调保持对抗鲁棒性？

    本文通过提高对抗性鲁棒性的角度重新审视和推进了对比学习。作者设计了高频组件的对比视图，以及增加伪监督刺激的对比学习来帮助保护模型的鲁棒性。作者提出了一种新的对抗性对比预训练框架 AdvCL， 在多个数据集上展示了其卓越的性能，该框架能够提高跨任务鲁棒性传输，同时不会降低准确性和微调效率。

    Nov, 2021

  • 可微分数据增强用于对比句子表示学习

    本文提出了一种基于对比学习框架的预训练语言模型微调方法，通过硬样本挖掘和使用不同 iable 的数据扩增技术，达到了在无标记或有标记数据上提高句子表示质量的目的。实验证明，该方法在半监督和监督学习设置下都优于现有对比学习方法，并且对标注数据更加高效。

    Oct, 2022