Jan, 2022

SNCSE: 无监督句子嵌入的对比学习与软负样本

PDF
TL;DR本文通过引入软负样本和双向边缘损失来改善当前无监督对比学习中的特征抑制问题，在语义文本相似度任务上取得了最优结果。
unsupervised sentence embeddingcontrastive learningsoft negative samplesbidirectional margin losssemantic textual similarity
发现论文，激发创造
  • 平滑对比学习用于无监督句子嵌入

    该论文提出了一种简单有效的平滑策略 (Gaussian Smoothing InfoNCE)，以解决在使用较大 batch size 时信息噪声过多导致性能下降的问题，在标准语义文本相似度任务 (STS) 上表现超过了目前最先进的无监督学习方法 (unsup-SimCSE)

    Sep, 2021

  • 探究对比学习中负样本对句子嵌入影响的案例研究

    本文提出了一种 Momentum 对比学习模型（MoCoSE），用于为句子嵌入提供正负样本，验证了负样本队列的历史信息对模型性能的影响，结果表明历史信息处于某个特定范围时，模型性能最佳。在语义文本相似度（STS）任务中测试，取得平均 Spearman‘s 相关系数为 77.27% 的结果。

    Feb, 2022

  • 从零开始对句子嵌入进行对比学习

    本研究提出了 SynCSE，通过利用大型语言模型合成数据样本，训练具有良好性能的句子嵌入，对比试验结果显示 SynCSE 在无监督基准模型的基础上具有更好的性能。

    May, 2023

  • DebCSE：从去偏见的角度重新思考无监督对比句嵌入学习

    本文研究了对比学习中存在的偏见问题，提出了一种名为 DebCSE 的新型对比框架，通过逆倾向加权抽样方法选择高质量的正负样本对，以消除各种偏见的影响，从而提高句子嵌入的质量。在语义文本相似性基准测试中，DebCSE 的平均 Spearman 相关系数为 80.33%，显著优于最新的最先进模型。

    Sep, 2023

  • 改进聚类句子嵌入的对比学习与焦点信息交叉熵

    该研究提出了一个无监督对比学习框架，将 SimCSE 与难负样本挖掘相结合，旨在增强句子嵌入的质量。在各种 STS 基准测试上的实验表明，我们的方法在 Spearman 相关性和表示对齐性和一致性方面改进了句子嵌入。

    Oct, 2023

  • SimCSE: 简单的对比学习句子嵌入

    本文介绍了一种简单的对比学习框架 SimCSE，通过无监督和监督学习两种方法，显著提高了句子嵌入的性能，适用于语义文本相似性任务。

    Apr, 2021

  • 无监督句子嵌入的实例平滑对比学习

    本文提出了 IS-CSE 方法用于平滑特征空间中的嵌入，实现句子嵌入的无监督学习，进而在标准的语义文本相似度（STS）任务中取得更好的结果。

    May, 2023

  • ESimCSE: 对无监督句子嵌入进行对比学习的增强样本构建方法

    提出了一种增强的无监督句子嵌入方法 (ESimCSE)，通过简单的文本操作和动量对比，来提高 SimCSE 在句子语义相似度任务方面的性能，与已有的无监督学习方法相比表现更好。

    Sep, 2021

  • 使用监督对比学习的句子嵌入

    本文提出了一种使用对比学习进行监督学习 Fine-tuning 预训练 BERT 模型以创建高效句子嵌入的新方法，相比于只使用基于交叉熵的监督学习的当前最先进方法 SBERT，我们的方法可以在句子转换和语义文本相似度基准测试上改进 2.8％和 1.05％。

    Jun, 2021

  • 利用增强的案例正例和检索负例改进句子嵌入的对比学习

    本文提出了一种新的文本对比学习方法 ——CARDS，改进了正负样本的质量问题，提出了一种 switch-case augmentation 方式来对抗预训练模型对频率、词形大小写和子词的内在偏态，同时从整个数据集中使用已预训练的语言模型来挖掘难负样本，结果表明该方法在无监督环境下显著优于现有的方法。

    Jun, 2022