ACLOct, 2017

为词汇蕴涵专门化的词向量

PDF
TL;DR该论文提出了一种新的后处理方法 LEAR（词汇蕴涵吸引 - 排斥），将任何输入的词向量空间转换为重视词汇蕴涵关系（LE）的不对称关系，通过将外部语言约束（例如 WordNet 链接）注入到初始向量空间中，LE 特化过程将真正的下位词 - 上位词对在转换后的欧几里得空间中靠近。同时，联合目标使用对称余弦距离来强制实施语义相似性，从而使向量空间同时专门用于词汇关系。LEAR 专业化模型在上位词方向性，上位词检测和分级词汇蕴涵任务中实现了最先进的性能，证明了所提出的不对称专业化模型的有效性和鲁棒性。
发现论文，激发创造
  • 三种识别词汇蕴涵的方法实验

    本文介绍了三种词汇蕴含的识别方法，并比较了它们的性能。与其他方法相比，新方法（相似性差异）在某些数据集上表现显著更好，说明词汇蕴含研究和语义关系分类研究之间建立联系是有益的。

    Jan, 2014

  • 利用蕴涵的分布式语义学学习上下位词的词嵌入

    该研究提出了一种基于向量空间的框架来对词汇包容性建模的分布语义模型，利用伪短语中邻近的两个词向量提出了一种隐向量，并探究了模拟词作为证据或词作为后验分布的优缺点。实验表明，所得到的词嵌入模型优于之前预测词之间下义词关系的最佳结果。

    Oct, 2017

  • 使用单语和跨语言约束语义专业化分布式词向量空间

    Attract-Repel 算法通过注入从词汇资源中提取的约束来改善词向量的语义质量，进而产生语义专业的跨语言向量空间，这有助于从高资源语言到低资源语言的语义转移，并取得了在多语种对话状态跟踪等任务中的最优结果。

    Jun, 2017

  • 词汇语义增强的神经词向量

    通过深度度量学习进行后处理可以提高神经语言模型中语义相似度推断的效果，并将层次拟合用于建模 IS-A 层次中的语义相似性细微差别。

    Oct, 2022

  • 对抗传播与零样本跨语言转移的词向量专业化

    本文提出了一种基于对抗训练的后加工特化方法，通过整合外部词汇知识到整个分布式语义空间中，利用资源中出现的词作为训练样例，结合标准 L2 距离和对抗损失，学习全局特化函数，表现良好并提高了词相似度、对话状态跟踪和词汇简化等任务的效果，并提出了一种零射击专业化的跨语言转移方法。

    Sep, 2018

  • 从词汇资源中提取的知识增强单词嵌入

    提出了一种用于词向量表示的语义专业化的有效方法，使用传统的词嵌入并应用专业化方法以更好地捕捉单词之间的语义关系，结合来自丰富词汇资源（如 BabelNet）的外部知识，以及使用基于对抗式神经网络及 Wasserstein 距离的后处理专业化方法，证明在两个任务上（单词相似性和对话状态跟踪）实现了大于现有方法的改进。

    May, 2020

  • 后专业化：对词向量进行改装以处理词汇资源中未见过的词语

    该论文提出了一种基于神经网络的后置特化方法，能够更新分布式词向量空间中所有单词并且在内在单词上保留有用的语言知识，该方法对各种后处理模型都有显著的改进，跨越了三种语言的应用。

    May, 2018

  • HyperLex：大规模分级词汇蕴涵评估

    HyperLex 是一份数据集和评估资源，旨在量化语义类别成员资格的范围，即类型关系，也称为下位词 - 上位词或词汇蕴含关系。通过将数百名英语母语者作为研究对象，我们证实了类别成员资格和下位词 - 上位词关系更多是渐进的而非二元的。通过将人的研究成果和自动系统的预测作比较，我们发现两者之间存在巨大的差距，讨论了改进语义模型的途径，并指出了改进评分 LE 系统的未来应用领域。

    Aug, 2016

  • 将语义关系嵌入到词表示中

    通过提取语料库中词汇的共现模式来实现无监督学习，学习不仅代表个体单词的表示，还明确捕捉代表单词间语义关联的词向量表示，并通过联合权重和二元分类器来描述单词间的语义关系，取得了普遍类比检测三个基准数据集中的显著性优势。

    May, 2015

  • 关系诸如上位词：通过分布向量识别和利用海斯特模式以用于语义蕴涵

    本文研究使用分布式向量预测词汇蕴涵的任务，提出基于 Hearst patterns 的特征提取方法，并结合文献中已有的优秀模型，成功预测多个数据集的结果。

    May, 2016