Oct, 2021

虚拟增强支持对比学习句子表示

PDF
TL;DR通过 VaSCL 提出了一种虚拟增强支持的对比学习方法， 解决了在自然语言处理中由于自然语言的离散性而无法运用通用规则进行数据增强， 从而获得了无监督句子表示学习的最新最佳表现。
contrastive representation learningdata augmentationnatural language processingsentence representationsunsupervised learning
发现论文，激发创造
  • 使用更强数据增强进行对比学习

    该研究提出了一种名为 Contrastive Learning with Stronger Augmentations（CLSA）的新的对比学习方法，利用数据扩增引入样本多样性，从而提高检索能力，实验结果表明该方法在 ImageNet 数据集上的表现接近有监督结果。

    Apr, 2021

  • PCL: 多样增强的同行对比学习用于无监督句子嵌入

    本文提出了一种多增强策略下的同伴对照学习（PCL），以构造对比配对并构建无监督的句子嵌入，其表现优于其他与之竞争的句子嵌入方法。

    Jan, 2022

  • 图形对比学习中的扩充：当前方法论缺陷和更好做法

    该论文介绍了使用对比学习（CL）进行无监督图表示学习的方法。作者通过探究使用域不可知图形扩充的高性能图像对比学习和 DAGAs 对图形对比学习的影响，提出了几个检查机制和设计任务感知扩充的策略，以提高模型的准确性。

    Nov, 2021

  • 使用提示派生虚拟语义原型的对比学习，用于无监督语句嵌入

    本文提出了一种新的对比学习方法，使用提示词构建每个实例的虚拟语义原型，并通过负面提示形式派生负面原型，通过原型对比损失，将锚定的句子嵌入与其对应的语义原型相近，并与负面原型及其他句子的原型相距较远。实验结果表明，与强基线模型相比，我们提出的方法在语义文本相似性、转移和聚类任务上效果显著。

    Nov, 2022

  • 可微分数据增强用于对比句子表示学习

    本文提出了一种基于对比学习框架的预训练语言模型微调方法，通过硬样本挖掘和使用不同 iable 的数据扩增技术，达到了在无标记或有标记数据上提高句子表示质量的目的。实验证明，该方法在半监督和监督学习设置下都优于现有对比学习方法，并且对标注数据更加高效。

    Oct, 2022

  • 自适应增强的图形对比学习

    本文提出了一种新的自适应增强方法，通过设计基于节点中心性和节点属性的增强策略来保留图的内在结构和属性信息，并验证此方法在节点分类任务中优于现有方法和监督学习模型。

    Oct, 2020

  • SDA: 简单离散增强方法用于对比句子表示学习

    本文提出三种离散级别的语句数据增强方法（标点符号插入、肯定助动词和双重否定），以实现语义一致性和表达多样性的平衡，从而取得了良好的效果，并在英文和中文语义文本相似性数据集上进行了广泛的实验。

    Oct, 2022

  • 基于大型语言模型的语义感知对照句子表示学习

    通过利用大型语言模型的生成和评估能力，我们提出了 SemCSR，一种语义感知的对比句子表示框架，可以自动构建高质量的 NLI 风格语料库，并将生成的句子对纳入对比句子表示模型的学习，实验证明了我们提出的框架在使用大型语言模型学习更好的句子表示方面的有效性。

    Oct, 2023

  • 句子嵌入的构成对比学习

    通过最大化同一文本最小扰动嵌入之间的对齐，以及在更广泛的语料库中鼓励嵌入的均匀分布，基于对比学习的各种方法已被提出来从未标记的数据中学习文本表示。不同的是，我们提出最大化文本和其短语成分组成之间的对齐，考虑了此目标的多种实现方法，并详细阐述了每种情况下对表示的影响。语义文本相似性任务上的实验结果显示，与最先进的方法相当的基线改进。此外，本工作是第一个这样做而不需要额外网络参数或辅助训练目标的工作。

    Jul, 2023

  • 双重对比学习：基于标签感知数据增强的文本分类

    本研究利用 DualCL 框架将分类器参数作为增广样本，与输入样本结合运用对比学习方法，在五个基准文本分类数据集上表现出较高的分类准确性，并证实了 DualCL 框架在学习具有判别性的表示方面的能力。

    Jan, 2022