Apr, 2023

Shuffle & Divide: 长文本对比学习

PDF
TL;DR本文提出了一种基于对比学习的长文本文档自监督学习方法，其中关键是 Shuffle and Divide（SaD），一种简单的文本增强算法，用于对 BERT 文档嵌入进行对比更新所需的预文本任务。通过对 20 Newsgroups、Reuters-21578、BBC 和 BBCSport 数据集进行无监督文本分类的实证评估，我们的方法在准确性方面取得了最高的性能表现。
发现论文，激发创造
  • 自适应对比学习实现的无源域自适应

    本文探讨了一种实际的领域自适应任务，称为无源域自适应（SFUDA），在此任务中，源预训练模型在没有访问源数据的情况下适应于目标域。我们介绍了一种新的 SFUDA 范例 Divide and Contrast（DaC），使用自适应对比学习框架，通过预测的置信度将目标数据分为类似源域和特定于目标域的样本，并针对每个组别进行调整目标，以在全局和局部层面上提高性能

    Nov, 2022

  • 自破坏式对比学习

    本文提出 Self-Damaging Contrastive Learning (SDCLR) 的概念，通过一个动态的自我竞争模型来平衡长尾数据的表示学习，以实现对无监督训练的快速部署。

    Jun, 2021

  • SCD: 自对比装饰 用于句子嵌入

    本文提出了一种自监督学习方法 SCD，其通过对输入句子进行联合自对比和去相关优化来学习表示，并通过利用标准 dropout 的实例化产生的对比来实现。该方法在多个基准测试中取得了与最先进方法相当的结果，而不使用对比对。

    Mar, 2022

  • 字典辅助的监督对比学习

    本文介绍了一种使用字典辅助的有监督对比学习模型，使研究人员能够在微调预训练语言模型时利用专门的字典。这种方法可以在少量样本情况下提高分类性能指标和社会科学应用。

    Oct, 2022

  • 自监督预训练：对比学习与差异学习在噪声标签下的比较

    提出了一种名为 Contrast to Divide (C2D) 的简单框架，使用自我监督的预训练来解决标签噪声的问题，并改善特征提取质量。实验结果表明，与现有方法相比，在高噪声环境下，C2D 对 CIFAR-100 提高了超过 27%，在现实噪声环境下，C2D 的性能优于之前的方法。

    Mar, 2021

  • 采用动态课程学习提高不平衡文本分类

    本文提出了一种新颖的自适应自我学习曲线方法，并使用两种不同的标准来评估样本的难度，通过从简单到困难的自适应速度重新排序和重采样训练数据。在多个分类任务上进行了广泛实验，证明了 SPDCL 的有效性，尤其是对于不平衡的数据集。

    Oct, 2022

  • 划分与对比：自监督学习从未审查的数据中学习

    本文研究自监督学习在大规模数据集上的应用，提出了一种基于对比学习与聚类的硬负样本挖掘方法（DnC），在 less-curated 数据集上的预训练，可以显著提高自监督学习在后续任务上的表现效果，并与目前在高度筛选数据集上的最新水平保持竞争力。

    May, 2021

  • SHAS：面向端对端语音翻译的接近最优分段方法

    本文提出了基于 Supervised Hybrid Audio Segmentation (SHAS) 的语音翻译模型，该模型利用了 wav2vec 2.0 的语音表示和分治算法找到最佳的分段点，可以有效地处理长语音和不可用手动分段的情况，并在实验中表现出很高的零样本性能和接近手动分段的翻译质量。

    Feb, 2022

  • SDA: 简单离散增强方法用于对比句子表示学习

    本文提出三种离散级别的语句数据增强方法（标点符号插入、肯定助动词和双重否定），以实现语义一致性和表达多样性的平衡，从而取得了良好的效果，并在英文和中文语义文本相似性数据集上进行了广泛的实验。

    Oct, 2022

  • CrossSplit: 通过数据分割减轻标签噪声记忆化现象

    该论文研究如何提高深度学习算法在标签噪声存在的情况下的鲁棒性，提出了一种名为 CrossSplit 的新型训练方法，该方法可以通过两个神经网络在数据集的两个不相交部分上训练来缓解噪声标签的记忆化现象，并使用对等网络的预测来调整每个网络的训练标签。实验证明，该方法在 CIFAR-10、CIFAR-100、Tiny-ImageNet 和 mini-WebVision 数据集上可以比当前最先进的方法提高 90% 的噪声率。

    Dec, 2022