EMNLPSep, 2018

对抗传播与零样本跨语言转移的词向量专业化

PDF
TL;DR本文提出了一种基于对抗训练的后加工特化方法，通过整合外部词汇知识到整个分布式语义空间中，利用资源中出现的词作为训练样例，结合标准 L2 距离和对抗损失，学习全局特化函数，表现良好并提高了词相似度、对话状态跟踪和词汇简化等任务的效果，并提出了一种零射击专业化的跨语言转移方法。
semantic specializationdistributional word vectorsexternal lexical knowledgeadversarial post-specialization methodglobal specialization function
发现论文，激发创造
  • 后专业化：对词向量进行改装以处理词汇资源中未见过的词语

    该论文提出了一种基于神经网络的后置特化方法，能够更新分布式词向量空间中所有单词并且在内在单词上保留有用的语言知识，该方法对各种后处理模型都有显著的改进，跨越了三种语言的应用。

    May, 2018

  • 从词汇资源中提取的知识增强单词嵌入

    提出了一种用于词向量表示的语义专业化的有效方法，使用传统的词嵌入并应用专业化方法以更好地捕捉单词之间的语义关系，结合来自丰富词汇资源（如 BabelNet）的外部知识，以及使用基于对抗式神经网络及 Wasserstein 距离的后处理专业化方法，证明在两个任务上（单词相似性和对话状态跟踪）实现了大于现有方法的改进。

    May, 2020

  • 为词汇蕴涵专门化的词向量

    该论文提出了一种新的后处理方法 LEAR（词汇蕴涵吸引 - 排斥），将任何输入的词向量空间转换为重视词汇蕴涵关系（LE）的不对称关系，通过将外部语言约束（例如 WordNet 链接）注入到初始向量空间中，LE 特化过程将真正的下位词 - 上位词对在转换后的欧几里得空间中靠近。同时，联合目标使用对称余弦距离来强制实施语义相似性，从而使向量空间同时专门用于词汇关系。LEAR 专业化模型在上位词方向性，上位词检测和分级词汇蕴涵任务中实现了最先进的性能，证明了所提出的不对称专业化模型的有效性和鲁棒性。

    Oct, 2017

  • 使用单语和跨语言约束语义专业化分布式词向量空间

    Attract-Repel 算法通过注入从词汇资源中提取的约束来改善词向量的语义质量，进而产生语义专业的跨语言向量空间，这有助于从高资源语言到低资源语言的语义转移，并取得了在多语种对话状态跟踪等任务中的最优结果。

    Jun, 2017

  • 分布语义建模：应用本体相关方法来训练词向量空间模型的修订技术

    本文提出了一种基于神经网络的分布式语义建模技术 SPT，通过自然语言文本中的术语自动提取和应用医学或应用于构建术语向量空间模型的基本实体，实现从分布式词表示向分布式术语表示的转换，从而提高传统本体论开发的准确性。

    Mar, 2020

  • 词汇语义增强的神经词向量

    通过深度度量学习进行后处理可以提高神经语言模型中语义相似度推断的效果，并将层次拟合用于建模 IS-A 层次中的语义相似性细微差别。

    Oct, 2022

  • 基于概念的弱监督对抗学习用于跨语言词嵌入

    本论文提出了一种基于概念的弱监督对抗训练方法，通过将单词映射到连续向量的分布表示法，实现不需要大量平行数据（如字典或句子对齐语料库）的语言间互译，并针对语言间距离大的情况，在大多数语言上改善了以前无监督的对抗方法的性能。

    Apr, 2019

  • 基于词向量空间专业化的动词类别的跨语言归纳和迁移

    本文提出了一种基于词向量学习架构的跨语言转移方法来诱导多种语言的 VerbNet，使用跨语言翻译对的方法将每种语言都绑定到英语的双语向量空间中，进而进行动词分类，实验结果显示该方法比现有方法在六种语言上的 VerbNet-style verb classification 任务中表现更优。

    Jul, 2017

  • 基于对抗自编码器的无平行语料跨语言分布式表示学习

    研究使用对抗自编码器从单语言分布中学习向量表示法，以实现不同自然语言间的向量兼容性，初步结果表明该技术可用于跨语言句子表达。

    Aug, 2016

  • 针对词级语义相似性的无监督预训练模型专业化

    本研究将外部词汇知识与 BERT 模型的多任务学习相结合，提出了一种 “词汇知情” 的 BERT（LIBERT）模型，比起原始 BERT 在多项语言任务和词汇简化任务中均有显著提高。

    Sep, 2019