ACLApr, 2019

专注模仿：通过关注信息上下文获得更好的词嵌入

PDF
TL;DR本文提出了一种注意力模仿算法，针对稀有词从表面形式和所有可用上下文信息中获取最具信息和可靠性的上下文信息来计算嵌入向量，评估结果表明，相较于之前的工作，该方法在提高中低频词的嵌入质量方面取得了更好的效果。
embeddingsrare wordsattentive mimickingcontext informationvocabulary
发现论文，激发创造
  • 稀有词汇：上下文嵌入的主要问题及关注模拟的解决方案

    本文讨论使用语言建模目标预训练深度神经网络架构对自然语言处理任务的大幅改进。在此基础上，利用 Attentive Mimicking 这一方法适应于深度语言模型的 embeddings。作者提出一个单词级别的近似的过程，使得即使基础语言模型使用基于子词的标记化也能使用 Attentive Mimicking。通过作者自己创建的数据集进行评估，将经过改进的 Attentive Mimicking 加入 BERT 确实大大提高了其对稀有单词的理解能力。

    Apr, 2019

  • 使用子词 RNN 模拟单词嵌入

    本文介绍 MIMICK，它是一种通过学习从拼写到分布式嵌入的函数来组成生成超出词汇表词汇的嵌入的方法，并提高了词性标注等任务的性能。

    Jul, 2017

  • 学习新词的语义表示：利用形式和语境

    本研究提出了一种基于表面形式和上下文信息两种方式的词嵌入方法，取得了在 Definitional Nonce 和 Contextual Rare Words 数据集上的最好效果，可以帮助处理 NLP 中的生词。

    Nov, 2018

  • 基于关注机制的上下文信息量预测模型及课程学习应用

    通过注意力机制和上下文信息评估单词背景下的信息量，该研究提出了一种用于导出关键上下文元素用于单词理解的有效方法，并探究如何将其应用于学生词汇学习和机器学习中。

    Apr, 2022

  • BERTRAM：优化单词嵌入对上下文模型性能具有巨大影响

    本文提出了一种名为 BERTRAM 的基于 BERT 的结构，用于为罕见词建立高质量的嵌入表示，从而提高深层语言模型在罕见词和中频词上的表现。实验表明，在罕见词探查任务和三种下游任务上，与 BERT 相结合可以显著提高罕见词和中频词的表示。

    Oct, 2019

  • 上下文化注意力嵌入的主题

    通过设计不同的探针实验，使用 BERT 和 DistilBERT，我们发现注意力框架在模拟主题词簇时发挥了关键作用，这为探讨概率主题模型和预训练语言模型之间的关系铺平了道路。

    Jan, 2023

  • 学习将单词嵌入上下文以执行句法任务

    我们提出了一种基于标准神经网络架构的简单，高效的令牌嵌入模型，并通过大量未注释的文本学习了令牌嵌入，评估它们作为基于少量注释的数据训练的词性标注器和依存分析器的特征，发现词嵌入在各种上下文窗口和训练集大小下都能一致优于基准预测模型。

    Jun, 2017

  • 在线学习计算词向量

    本文提出一种从少量辅助数据中即时预测稀有词嵌入的方法，并在阅读理解、文本蕴含和语言建模等任务中，与仅在任务端训练的嵌入相比，展现了更好的结果。

    Jun, 2017

  • 语音识别中的学习：上下文音频词嵌入

    本文提出一种方法，使用注意力分配从监督序列到序列的语音到单词识别模型中直接构建上下文语音嵌入。在一系列 16 个标准句子评估任务中，我们的嵌入表现与在语音转录中训练的 word2vec 模型相当。此外，我们在口语理解任务上评估这些嵌入并观察到，我们的嵌入匹配基于文本的嵌入在首先进行语音识别，然后从转录中构建单词嵌入的流水线中的性能。

    Feb, 2019

  • 使用释义改进上下文化词嵌入

    本文章探讨了，如何通过给上下文动态变化的词嵌入模型增加同义词的语境来提高模型的稳定性，提出了一种基于改造的方法并在各种句子分类和语言推理任务中进行了实验，结果表明该方法可以有效提高模型性能。

    Sep, 2019