EMNLPNov, 2022

使用提示派生虚拟语义原型的对比学习，用于无监督语句嵌入

PDF
TL;DR本文提出了一种新的对比学习方法，使用提示词构建每个实例的虚拟语义原型，并通过负面提示形式派生负面原型，通过原型对比损失，将锚定的句子嵌入与其对应的语义原型相近，并与负面原型及其他句子的原型相距较远。实验结果表明，与强基线模型相比，我们提出的方法在语义文本相似性、转移和聚类任务上效果显著。
发现论文，激发创造
  • PCL: 多样增强的同行对比学习用于无监督句子嵌入

    本文提出了一种多增强策略下的同伴对照学习（PCL），以构造对比配对并构建无监督的句子嵌入，其表现优于其他与之竞争的句子嵌入方法。

    Jan, 2022

  • 基于提示对比学习和能量函数学习的改进通用句子嵌入

    本文提出了一种新的基于提示的对比学习方法 (PromCSE)，用于有效提高预训练语言模型 (PLMs) 的普适句子嵌入表示，在七个标准语义文本相似性任务和一个域转移语义文本相似性任务上取得了优于当前最先进的句子嵌入模型的效果。

    Mar, 2022

  • 从零开始对句子嵌入进行对比学习

    本研究提出了 SynCSE，通过利用大型语言模型合成数据样本，训练具有良好性能的句子嵌入，对比试验结果显示 SynCSE 在无监督基准模型的基础上具有更好的性能。

    May, 2023

  • 句子嵌入的构成对比学习

    通过最大化同一文本最小扰动嵌入之间的对齐，以及在更广泛的语料库中鼓励嵌入的均匀分布，基于对比学习的各种方法已被提出来从未标记的数据中学习文本表示。不同的是，我们提出最大化文本和其短语成分组成之间的对齐，考虑了此目标的多种实现方法，并详细阐述了每种情况下对表示的影响。语义文本相似性任务上的实验结果显示，与最先进的方法相当的基线改进。此外，本工作是第一个这样做而不需要额外网络参数或辅助训练目标的工作。

    Jul, 2023

  • 一句话价值 128 伪标记：一个针对句子嵌入的语义感知对比学习框架

    本文提出一种基于伪符号 Bert（PT-Bert）的语义感知对比学习框架，可以有效地利用句子的伪符号空间表示，消除了句子长度和语法等表征对模型的影响，实现了对未标注文本的编码。通过构建同长度的正负样本对进行对比学习，我们的模型在六个标准语义文本相似性（STS）任务中优于现有的基准模型。

    Mar, 2022

  • 虚拟增强支持对比学习句子表示

    通过 VaSCL 提出了一种虚拟增强支持的对比学习方法， 解决了在自然语言处理中由于自然语言的离散性而无法运用通用规则进行数据增强， 从而获得了无监督句子表示学习的最新最佳表现。

    Oct, 2021

  • 通过提示调整的方向原型用于免重训练连续学习

    研究提出了对比原型提示 (CPP) 方法，通过任务特定的提示调整，在对比学习目标优化的基础上，有效地解决了随时间推移和原型干扰所导致的性能恶化问题，并在四项具有挑战性的类增量学习基准测试中表现出色，不需要排练缓冲区，并且在连续学习和线下联合学习之间大大缩小了性能差距，是一种有前途的改进方案。

    Mar, 2023

  • PromptBERT: 利用提示提高 BERT 句子嵌入

    本文提出了一种新的对比学习方法 PromptBERT，用于改进句子表示的效果，在分析当前 BERT 句子嵌入的缺陷后，通过两种提示表示方法和三种提示搜索方法实现更好的句子嵌入，同时通过模板去噪技术，提出了一种新的无监督训练目标，大大缩短了有监督和无监督设置之间的性能差距，实验证明了方法的有效性。

    Jan, 2022

  • 基于对比特征重构的逐步视觉提示学习

    本文针对视觉 - 语言模型中的文本提示有限，现有视觉提示方法性能或训练过程不稳定的问题，提出了一种新的渐进式视觉提示结构（ProVP），并结合对比特征重构，最终获得了在 11 个基准数据集上的最佳性能。

    Apr, 2023

  • 基于提示的少样本语言学习的对比学习

    本文提出一种基于对比学习的框架，使用不同的增强 “视图” 将同一类别的输入聚类，远离来自不同类别的输入，将对比损失与标准的掩码语言建模（MLM）损失相结合，并应用于基于提示的少样本学习者，实验结果表明，我们的方法在 15 种不同的语言任务中表现优于现有的先进方法。

    May, 2022