May, 2023

自然语言定义的多关系双曲词嵌入

PDF
TL;DR本文提出了一种神经符号、多关系框架来仅通过自然语言定义学习单词嵌入，特别地，通过在超几何空间中学习，将维护向量空间中的显式概念关系和约束。实验结果表明，这种方法可以帮助强制执行期望的结构约束，同时保留可控和可解释的语义导航，而且超几何词嵌入优于欧几里得空间的词嵌入。
发现论文，激发创造
  • 使用神经嵌入模型学习多关系语义

    本文提出了一种统一的模型框架，用于建模多关系表示、评分和学习，并在此框架下对几种最近的多关系嵌入模型进行了实证研究。研究了基于线性和双线性变换的关系算子的不同选择，以及通过整合额外文本资源上的非监督向量进行实体表示的效果。结果表明了几个有趣的发现，实现了在 Freebase 上进行评估的热门知识库完成任务的最新性能的简单嵌入模型的设计。

    Nov, 2014

  • 词汇语义增强的神经词向量

    通过深度度量学习进行后处理可以提高神经语言模型中语义相似度推断的效果，并将层次拟合用于建模 IS-A 层次中的语义相似性细微差别。

    Oct, 2022

  • 在双曲空间中嵌入文本

    本研究使用新的超几何嵌入方法学习文本数据中的词和句的嵌入，这些嵌入似乎编码了层次结构的某些直觉概念，然而，由于隐含的连续层次结构，这种模型更难以研究其学习层次结构的内部机制。

    Jun, 2018

  • 多关系 Poincaré 图嵌入

    本研究提出了一种称为 MuRP 的多关系泊松球模型，用于在 Poincaré 空间中嵌入多关系图数据，并学习关系特定参数以通过 Möbius 矩阵 - 向量乘法和 Möbius 相加来转换嵌入，实验表明 Poincare 嵌入在链接预测任务中比欧几里得模型和现有嵌入方法的效果更好，特别是在低维度的情况下。

    May, 2019

  • 超几何空间中的跨语言词嵌入

    本文介绍了一种将超球面上的 Poincaré 模型与 Word2Vec 模型相结合的方法，用于从德 - 英平行语料库中学习跨语言单词表示，并且实验证明通过保留潜在的层级信息，在超球面上的表示法可以提供更好的跨语言嵌入。

    May, 2022

  • 利用蕴涵的分布式语义学学习上下位词的词嵌入

    该研究提出了一种基于向量空间的框架来对词汇包容性建模的分布语义模型，利用伪短语中邻近的两个词向量提出了一种隐向量，并探究了模拟词作为证据或词作为后验分布的优缺点。实验表明，所得到的词嵌入模型优于之前预测词之间下义词关系的最佳结果。

    Oct, 2017

  • 利用词汇资源学习多关系数据中实体嵌入

    提出了一种使用词汇资源的描述和分布式语义语料的相关信息的简单方法，以更好地初始化关系模型的训练，在 WordNet 数据集上表现出了显着的最新性能。

    May, 2016

  • 面向任务的词向量学习用于语义关系分类

    本文介绍了一种新颖的学习方法，用于关系分类的单词嵌入训练，并使用无标注语料库上的词汇关系特定特征预测名词对之间的单词，以将关系特定信息显式地纳入单词嵌入中。通过使用所学习的单词嵌入来构建特征向量，用于关系分类模型。在一个基于语义关系分类任务中，我们的方法表现显著优于基于之前介绍的单词嵌入方法的基准线，并与使用句法信息或手动构造的外部资源的先前最先进的模型相比，表现出了比较良好的结果。

    Feb, 2015

  • 一种多关系数据学习的语义匹配能量函数

    本文提出了一种新的神经网络架构，它将多关系图嵌入到灵活的连续向量空间中，以增强数据的原始语义，并在文献标准数据集上表现出了高竞争性的链接预测性能。

    Jan, 2013

  • 定义建模：学习在自然语言中定义词嵌入

    本文研究如何利用分布式表示生成单词的字典定义，介绍了几种基于 RNN 的定义模型，探讨了字母级别卷积层对词级嵌入的补充，最终通过错误分析揭示了模型的缺陷。

    Dec, 2016