EMNLPOct, 2020

VCDM: 利用变分双编码和深度上下文化单词表示来改进定义建模

PDF
TL;DR本研究提出了一种生成模型来处理定义建模任务，并使用变分推断进行估计，并利用上下文化的词嵌入来提高性能，其在四个基准测试中均取得了最先进的表现。
definition modelinggenerative modelvariational inferencecontextualized word embeddingsstate-of-the-art performance
发现论文，激发创造
  • 定义建模：学习在自然语言中定义词嵌入

    本文研究如何利用分布式表示生成单词的字典定义，介绍了几种基于 RNN 的定义模型，探讨了字母级别卷积层对词级嵌入的补充，最终通过错误分析揭示了模型的缺陷。

    Dec, 2016

  • 学习上下文化的医疗答案检索文档表示

    本文提出了基于结构化查询元组和医疗术语的语境话语向量（CDV）来有效地从长篇医疗文档中检索答案的方法。该方法利用了层次 LSTM 神经网络，其位置编码的编码能力以及在句子层面上的近似最近邻搜索技术。研究结果表明，我们的方法在医疗段落排名方面表现优于现有的多个基准，并且适应多领域且不需要额外的微调。

    Feb, 2020

  • 无监督上下文化文档表示

    该研究提出一种简单而有效的无监督表示方法 SCDV+BERT (ctxd)，通过结合上下文化的 BERT 方法和 SCDV 软聚类方法来处理单义和上下文特性的词语。研究表明，在多项分类数据集和概念匹配和句子相似性等任务中，此嵌入方法的性能优于原始 SCDV、预训练 BERT 和其他基线模型，尤其在数据稀缺和少样本学习任务中比微调 BERT 和不同嵌入方法表现更好。

    Sep, 2021

  • 深度上下文词表示

    本文介绍了一种新型的深层上下文词表示方法，既能够建模单词用法的复杂特征 (如句法和语义)，又能够建模这些用法在语言上下文中的变化 (即建模多义性)，这些表示可以轻松地添加到现有模型中，并且可以显著提高 NLP 问题的性能。

    Feb, 2018

  • 有条件的词汇定义生成器

    本文探讨了最近引入的定义建模技术，在模塑字典定义的基础上评估不同分布向量表示的词语，分析了该模型中的词语歧义性问题，并提出了一个潜变量建模和软注意机制的解决方案，我们对该模型进行了定量和定性评估和分析，结果表明考虑到歧义性和多义性会提高性能。

    Jun, 2018

  • 利用上下文和定义之间的相关性进行多定义建模

    本论文提出了一种名为 Multiple Definition Modeling (MDM) 的新任务，通过汇集目标词的所有上下文和定义，改进了 Single Definition Modeling (SDM) 的表现，同时在零 - shot 设置中达到了可比较的性能，为 Definition modeling 提供了一个新的方向。

    May, 2023

  • 通过句子语义分割引导的条件变分自动编码器对复杂对话映射进行建模

    本研究提出了一种基于句子语义分割的条件变分自编码器（SegCVAE）解决对话模型中复杂对话映射（CDM）的问题，通过约束潜在变量和富含语义的分割来提高模型性能，在自动和人工评估结果中取得了最新的最佳表现。

    Dec, 2022

  • 标记我的词：一种序列到序列的定义建模方法

    本文将定义建模任务作为一种序列到序列（sequence-to-sequence）的任务，使用基于 Transformer 的模型训练上下文匹配和定义生成，取得了最优结果。

    Nov, 2019

  • 深度生成模型用于联合对齐和词表示

    使用翻译数据作为词表示模型的语义相关学习信号的源，利用翻译中的等价性作为分布式上下文进行联合嵌入和对齐，通过概率归一化的隐变量词汇对齐实现嵌入词，并比较上下文中的词的重叠度。应用于多个语义任务上获得了良好的性能表现。

    Feb, 2018

  • 通过主题感知离散潜变量学习语义文本相似度

    本文提出了一种基于主题的离散潜变量模型，通过向量量化学习句子对表示的共享潜空间，进一步将量化表示注入基于语义驱动的注意力机制变压器语言模型，以提高语义相似性的性能。

    Nov, 2022