Dec, 2022

关系句子嵌入用于灵活语义匹配

PDF
TL;DR研究了建立新的 Relational Sentence Embedding（RSE）范式以更好地发现句子嵌入潜力，提出了一种关联嵌入学习方法，作用在源句子上，推断出使用现有的 Siamese-based encoder 的对应目标句子，从学习的嵌入中可以计算出细粒度的关系相似度得分。该方法在 19 个任务中进行了基准测试，取得了良好的效果。
relational sentence embeddingsentence embeddingsrelational informationsiamese-based encodersemantic textual similarity
发现论文，激发创造
  • 增强排名的无监督句子表示学习

    本文提出了一种基于相邻句子的无监督句子编码器 RankEncoder，利用相邻句子约束进行训练，在语义文本相似度性能、相似句子对的有效性和普适性等方面都较好地表现，达到了 80.07% 的斯皮尔曼等级相关性，相较于最先进技术性能有 1.1% 的绝对提升，并且在相似句子对方面提升更为显着，为 1.73%，同时证明了 RankEncoder 可以普遍适用于现有的无监督句子编码器。

    Sep, 2022

  • STransE: 一种知识库实体和关系的新型嵌入模型

    本文提出一种新的嵌入式模型 STransE，结合了多种先前的链接预测模型，用于知识库的链接预测任务，它将每个实体表示为低维向量，用两个矩阵和一个翻译向量表示每个关系，并在两个基准数据集上获得更好的链接预测表现。

    Jun, 2016

  • SimCSE: 简单的对比学习句子嵌入

    本文介绍了一种简单的对比学习框架 SimCSE，通过无监督和监督学习两种方法，显著提高了句子嵌入的性能，适用于语义文本相似性任务。

    Apr, 2021

  • 高斯嵌入表示的句子表征

    本文提出了一种基于高斯分布的对比学习框架 GaussCSE 用于句子嵌入，它可以处理句子间不对称的关系，同时还有一种相似度度量可以识别包含关系。实验证明 GaussCSE 在自然语言推断任务中与之前的方法一样表现出色，并能够估算蕴含关系的方向。

    May, 2023

  • SEE: 基于语法感知的实体嵌入用于神经关系抽取

    本文提出了一种基于语法树和句子嵌入的远程监督关系抽取方法，使用句子和实体的嵌入对关系进行分类，实验结果表明这种方法在真实数据集上取得了最佳的性能。

    Jan, 2018

  • RankCSE: 无监督学习排序的句子表示

    本文提出了一种新方法 RankCSE，将排名一致性和排名蒸馏与对比学习相结合，用于无监督学习句子表示，实现了语义区分的句子表示，该方法在语义文本相似性任务和转移任务中表现出优异的性能。

    May, 2023

  • 知识图谱嵌入的位置敏感嵌入

    知识图谱嵌入主要分为平移距离模型和语义匹配模型，在平移距离模型中，头尾实体的区分能力是一个关键挑战，而新颖的位置敏感嵌入 (LSE) 方法通过使用关系特定的映射来改变头实体，将关系概念化为线性变换，而不是简单的平移，它的理论基础、表现能力和与现有模型的联系都得到了充分的研究，一个更简化的变体 LSEd 通过对变换使用对角线矩阵以提高实际效率，在四个大规模数据集上进行的链接预测测试中，LSEd 要么表现出色，要么与领先的现代模型竞争力相当。

    Dec, 2023

  • 通过精简句子嵌入，可扩展的注意力句对建模

    该研究介绍一种基于知识蒸馏的 Distilled Sentence Embedding (DSE) 模型，旨在通过构建一个用于重构跨注意力模型得分的基于句子嵌入的学生模型，加速计算查询 - 候选句子对的相似度并在句子表示基准测试中达到最先进的性能。

    Aug, 2019

  • AspectCSE：利用对比学习与结构化知识的基于方面的语义文本相似性句子嵌入

    本文提出了 AspectCSE，一种基于对比学习的以方面为基础的句子嵌入方法，并在多个方面的信息检索任务上实现了 3.97％的平均改进。同时，作者还提出使用 Wikidata 知识图谱属性来训练多方面的句子嵌入模型，并证明这种方法优于单方面的嵌入，同时该研究还探讨了基于方面的句子嵌入空间。

    Jul, 2023

  • 语义增强的关系度量学习在推荐系统中的应用

    通过引入语义信息，我们提出了一种联合语义增强关系度量学习 (SERML) 框架，该框架从目标评论中提取语义信号，并通过该信号改进了原始基于关系的训练过程的区分能力，实验证明 SERML 在推荐系统中表现与几种先进方法相当。

    Jun, 2024