EMNLPOct, 2022

生成、判别和对比：半监督句子表示学习框架

PDF
TL;DR本文提出了一种半监督句子嵌入框架 GenSE，通过使用大规模无标注数据，利用生成器 / 鉴别器模型进行句子对的合成和对比学习，实现对带标签和合成数据的句子表示学习，相对于目前最先进的方法，在四项领域适应任务上具有显着的性能提升，平均相关性得分为 85.19，证明了其高效性和一般化能力。
sentence embeddingsemi-supervised learninggenerator/discriminator modelcontrastive approachdomain adaptation
发现论文，激发创造
  • 从零开始对句子嵌入进行对比学习

    本研究提出了 SynCSE，通过利用大型语言模型合成数据样本，训练具有良好性能的句子嵌入，对比试验结果显示 SynCSE 在无监督基准模型的基础上具有更好的性能。

    May, 2023

  • 基于大型语言模型的语义感知对照句子表示学习

    通过利用大型语言模型的生成和评估能力，我们提出了 SemCSR，一种语义感知的对比句子表示框架，可以自动构建高质量的 NLI 风格语料库，并将生成的句子对纳入对比句子表示模型的学习，实验证明了我们提出的框架在使用大型语言模型学习更好的句子表示方面的有效性。

    Oct, 2023

  • RankCSE: 无监督学习排序的句子表示

    本文提出了一种新方法 RankCSE，将排名一致性和排名蒸馏与对比学习相结合，用于无监督学习句子表示，实现了语义区分的句子表示，该方法在语义文本相似性任务和转移任务中表现出优异的性能。

    May, 2023

  • SimCSE: 简单的对比学习句子嵌入

    本文介绍了一种简单的对比学习框架 SimCSE，通过无监督和监督学习两种方法，显著提高了句子嵌入的性能，适用于语义文本相似性任务。

    Apr, 2021

  • SNCSE: 无监督句子嵌入的对比学习与软负样本

    本文通过引入软负样本和双向边缘损失来改善当前无监督对比学习中的特征抑制问题，在语义文本相似度任务上取得了最优结果。

    Jan, 2022

  • 预训练句子嵌入的相互强化框架

    本研究基于自监督对比学习方法，提出了一种名为 InfoCSE 的新型框架，用于解决手工数据注释不可靠的问题，通过迭代的自我监督和数据标注反馈，实现了句子表示模型和数据注释方法的相互协作，有效提高了自监督学习的效果。实验证明，该方法在三个基准数据集上取得了显著的改善。

    Feb, 2022

  • 使用连续配对判别器学习语义句子嵌入

    本文提出了一种获取基于句子嵌入的方法，通过引入约束来确保生成的近义词句子嵌入与原始句子嵌入相似，此方法在惯用数据集上的近义词生成和情感分析任务中要优于最先进的方法，并且是具有统计意义的。

    Jun, 2018

  • 生成还是对比？短语重构用于优化句子表示学习

    通过短语重构提出一种新的生成式自监督学习方法，其产生的句子表示在句子文本相似性方面表现与对比式方法相当。

    Apr, 2022

  • 无监督句子嵌入的自适应对比学习重建

    我们提出了一种自适应重建对比句子嵌入（SARCSE）框架，通过使用自动编码器对句子中的所有单词进行重建，帮助模型在聚合单词时保留更多细粒度的语义。实验结果表明，与强基准 SimCSE 相比，SARCSE 在 7 个 STS 任务中取得了显着改进。

    Feb, 2024

  • DiffCSE：基于差异的对比学习用于句向量

    本文介绍了 DiffCSE，一个无监督的对比学习框架，可以学习敏感于原始句子和编辑后句子之间差异的句子嵌入，通过朴素的掩码和掩码语言模型中的采样获得编辑后的句子，证明了 DiffSCE 是一种等变对比学习，并在语义文本相似性任务中取得了超越无监督 SimCSE 的最先进结果。

    Apr, 2022