Sep, 2022

增强排名的无监督句子表示学习

PDF
TL;DR本文提出了一种基于相邻句子的无监督句子编码器 RankEncoder，利用相邻句子约束进行训练，在语义文本相似度性能、相似句子对的有效性和普适性等方面都较好地表现，达到了 80.07% 的斯皮尔曼等级相关性，相较于最先进技术性能有 1.1% 的绝对提升，并且在相似句子对方面提升更为显着，为 1.73%，同时证明了 RankEncoder 可以普遍适用于现有的无监督句子编码器。
unsupervised sentence embeddingsemantic similarityrankencoderspearman's correlationsimilar sentence pairs
发现论文，激发创造
  • RankCSE: 无监督学习排序的句子表示

    本文提出了一种新方法 RankCSE，将排名一致性和排名蒸馏与对比学习相结合，用于无监督学习句子表示，实现了语义区分的句子表示，该方法在语义文本相似性任务和转移任务中表现出优异的性能。

    May, 2023

  • 关系句子嵌入用于灵活语义匹配

    研究了建立新的 Relational Sentence Embedding（RSE）范式以更好地发现句子嵌入潜力，提出了一种关联嵌入学习方法，作用在源句子上，推断出使用现有的 Siamese-based encoder 的对应目标句子，从学习的嵌入中可以计算出细粒度的关系相似度得分。该方法在 19 个任务中进行了基准测试，取得了良好的效果。

    Dec, 2022

  • 以词和句相似性重新思考评估

    本文提出了 EvalRank 作为一种新的内部评估方法，它在 60 多个模型和流行数据集上进行了深入的实验，并释放了实用的评估工具包用于未来的基准测试。

    Mar, 2022

  • 使用句子编码器和短语对齐朝向结构感知的释义识别

    本文提出一种将句子编码器与对齐组件相结合的方法，针对改善意思相似度比较任务的性能和可解释性，并通过具体实验证明了该方法能够提升模型对结构差异和高词汇重复的语句的区分能力。

    Oct, 2022

  • 将句子表示为低秩子空间

    研究发现句子的词向量表示一般都集中在一个低秩子空间内，通过基于该子空间的无监督表示法在 19 个数据集上测试，平均优于 skip-thought vectors 等神经网络模型 15%。

    Apr, 2017

  • 用于改写和文本摘要的语义句子嵌入

    介绍了一种适用于高级自然语言处理的句子向量编码框架，该框架可以从编码器 - 解码器模型中提取具有相似向量表示的常见语义信息的句子 latents 表示。我们将句子表示的应用用于两个不同的任务 -- 句子复述和段落摘要，使其适用于常用的循环框架处理文本。实验结果有助于深入了解向量表示适用于高级语言嵌入。

    Sep, 2018

  • 无监督语义文本相似性的句子元嵌入

    本文介绍了如何通过将不同的预训练句子编码器组合成句子元嵌入来解决无监督的语义文本相似性（STS）任务，我们在句子级别应用、扩展和评估了来自单词嵌入文献的不同元嵌入方法，并在 STS 基准测试和 STS12-STS16 数据集上设置了新的无监督状态，平均提高了 3.7% 至 6.4% Pearson 的 r 值。

    Nov, 2019

  • 基于注意力机制的深度排序网络用于句子排序学习

    本论文提出了一个基于注意力机制的排序框架，旨在训练模型进行句子排序和辨别任务。该框架采用双向句子编码器和自注意力变换网络以获取与输入顺序无关的段落表示。同时，它能够使用各种基于排序的损失函数进行无缝训练，并在两个任务中应用。实验结果表明，该框架在多个评估指标上优于众多最先进的方法。同时，相对于点对排序损失函数，该框架在使用点对和列表排序损失函数时取得更好的结果，这表明将两个或多个句子的相对位置纳入损失函数有利于更好的学习。

    Dec, 2019

  • 无监督抽取式摘要中句子相似度估计的改进

    研究了两种新策略以提高自动抽取摘要的句子相似度估计，其中对比学习优化了文本级目标，同时使用互相学习增强句子相似度估计与句子重要性排名之间的关系。实验结果显示了策略的有效性。

    Feb, 2023

  • 从自然语言推理数据中监督学习通用句子表示

    本研究探讨了利用 Stanford 自然语言推断数据集的监督学习训练通用句子向量表示，相比于 SkipThought 等无监督方法，该方式在多种迁移学习任务中表现更优，因此表明自然语言推断适用于迁移学习。

    May, 2017