Nov, 2019

无监督语义文本相似性的句子元嵌入

PDF
TL;DR本文介绍了如何通过将不同的预训练句子编码器组合成句子元嵌入来解决无监督的语义文本相似性（STS）任务，我们在句子级别应用、扩展和评估了来自单词嵌入文献的不同元嵌入方法，并在 STS 基准测试和 STS12-STS16 数据集上设置了新的无监督状态，平均提高了 3.7% 至 6.4% Pearson 的 r 值。
unsupervised semantic textual similaritypre-trained sentence encoderssentence meta-embeddingsdimensionality reductioncanonical correlation analysis
发现论文，激发创造
  • 从对话学习语义文本相似度

    本论文通过学习使用对话数据学习句子级语义相似性的新方法，利用无监督模型预测对话输入响应对以训练，导出的句子嵌入在语义文本相似性基准测试和 SemEval 2017 的 CQA 问题相似性子任务上表现良好。通过介绍同时进行对话输入响应预测任务和自然语言推理任务的多任务训练来进一步改善性能。广泛的实验显示，所提出的模型在 STS 基准测试中达到了所有神经模型中最佳性能，并且在两个任务中的工程特征和混合系统方面与最先进的混合系统竞争。

    Apr, 2018

  • 基于组合短语语义的无监督句子文本相似度

    本文针对各种领域但仅需要最少的数据和计算资源的无监督 STS 提出了一种轻量级的 Expectation-Correction (EC) 公式来计算 STS，此方法包括通过组合多个递归 EC 公式来捕捉组合短语语义的 Recursive Optimal Transport Similarity (ROTS) 算法，这比之前的方法更有效和可扩展，并通过对 29 个 STS 任务的详细消融研究证明了此方法的有效性。

    Oct, 2022

  • 来自不同监督信号的句子嵌入的比较和组合

    本文探讨了两种类型的句子嵌入方法对于语义文本相似度任务性能的影响，发现 fine-tunes 预训练语言模型在自然语言推断和单词预测任务中使用能够提高性能，而且将两种方法相结合能够比单个方法取得更好的效果。

    Feb, 2022

  • SemEval-2017 任务 1：语义文本相似度 - 多语言和跨语言聚焦评估

    研究了句子的语义文本相似度，旨在评估现有模型的性能和限制，并提出一个新的 STS 基准用于对语义表示的研究。

    Jul, 2017

  • 一种高效的自监督跨视角句子嵌入训练

    我们提出了一种称为自监督跨视图训练（SCT）的框架，以缩小大型和小型预训练语言模型（PLM）之间性能差距，并在 7 个语义文本相似性（STS）基准测试中通过与 5 个基准和最先进的竞争对手的比较，在参数数量从 4M 到 340M 范围内的 5 个 PLMs 上证明 STC 在 21 个案例中的 18 个中胜过竞争对手，对于参数少于 100M 的 PLMs 表现出色。

    Nov, 2023

  • 元嵌入作为辅助任务规则化

    通过构建一个辅助任务来重建词嵌入集成，从而规范主任务，从而在使用各种标记的词相似度数据集进行监督的基础上，显著改善了词相似度数据集的表现，并在序列标记和句子分类中进行了词元嵌入的重建。

    Sep, 2018

  • 可解释的语义文本相似度：发现并解释句子之间的差异

    本文研究了在语义文本相似度（STS）的基础上添加可解释性层，通过分析句对之间的对齐关系，给出了一种可度量关系的方法。同时，作者提供了一个公共的数据集来评估系统性能，研究表明该方法可用于进行自然语言的解释并提高用户的接受度。

    Dec, 2016

  • 基于注意力机制的非监督句级元嵌入来自上下文语言模型

    提出了一种句子级元嵌入学习方法，利用不同的上下文化语言模型，通过无监督的学习方式学习句子嵌入，以满足不同需要的下游自然语言处理任务，实验证明提出的方法优于以往的方法和有监督的基线。

    Apr, 2022

  • 文本编码器缺乏知识：利用生成型语言模型为特定领域的语义文本相似性提供支持

    语义文本相似度问题可以作为生成文本问题来解决，生成型的大型语言模型在特定领域的语义相似度任务中表现优于基于编码器的模型，并且在需要世界知识的 STS 任务上，新收集的数据验证了这个结论。

    Sep, 2023

  • CSTS: 条件语义文本相似度

    通过提出一种新的条件语义文本相似度任务 (conditional STS，C-STS)，旨在找到一个针对性的自然语言条件方面来测量句子之间的相似度，可以减少 STS 的主观性和模糊性并利用多样的条件实现细粒度的相似度评估，并使用各种最先进的模型证明了 C-STS 的挑战性。

    May, 2023