COLINGApr, 2021

后处理对上下文化词表示的影响

PDF
TL;DR本篇论文探讨了对预训练语言模型中的上下文嵌入层进行后处理的实用性，进一步应用标准化个体神经元激活层、单位长度标准化等方法，发现这些方法能够揭示嵌入层中的重要信息，包括词汇任务和序列分类任务。文章提出了 z-score 标准化作为使用这些方法的一个重要步骤。
post-processingcontextualized embeddingspre-trained language modelsnormalizationlexical and sequence-level tasks
发现论文，激发创造
  • 除顶部之外：用于词语表达的简单有效后处理

    本文介绍了一种消除平均向量和少量主导方向的词向量后处理技术，通过在多种语言和数据集上进行的实验验证，发现处理后的词表示比原始表示更强，适用于词汇水平内在任务和句子级任务。

    Feb, 2017

  • 用语义类别探测量化单词表示的情境化

    通过研究 BERT 中的单词上下文含义的量化，我们展示了预训练语言模型如何解释单词在上下文中的重要性，结果显示顶层语义表示对于任务的推断非常准确，底层语义表示更具可转移性。

    Apr, 2020

  • 上下文中的迷失？关于上下文化词向量的意义差异

    揭示了上下文化单词嵌入的一些特征，包括上下文中单词意思的变化程度，单词在不同上下文中的一致性，以及单词位置偏差的影响，并提出一种减轻这种偏差的简单方法。

    Aug, 2022

  • 利用上下文嵌入模型获得更好的静态词嵌入

    本研究提出使用基于 CBOW 的训练方法进行文本嵌入的知识蒸馏，可以有效地提高自然语言处理应用程序的计算效率，同时优于从头开始训练的静态嵌入和以前提出的方法提炼的嵌入。此外，该方法还可以通过标准词汇评估任务公平比较上下文和静态嵌入。

    Jun, 2021

  • 自编码提升预训练词嵌入

    本文研究了预训练单词嵌入的几何结构特征，实验证明保留 top 主成分以提高预训练单词嵌入的准确性是有用的，无需额外的语言资源或标注数据。

    Oct, 2020

  • 利用预训练的上下文化词表示改进词义消歧

    本文探讨了不同的策略，将预训练的上下文化单词表示与非上下文化单词嵌入使用最佳策略相结合，其在多个基准 WSD 数据集上实现了显著比之前发表的最佳准确率更高的结果，并提供了源代码。

    Oct, 2019

  • 命名实体识别中的上下文嵌入：一项关于泛化的实证研究

    本文通过经验分析，将提到的未知名称根据新奇性和域外评估进行分离，并证明了最新情境嵌入模型在发现前所未见的名称方面特别有益，尤其是在域外评估中。

    Jan, 2020

  • 预训练是热门话题：上下文化文档嵌入提高了主题相关性

    本文介绍了关于主题模型的研究，探讨了如何将 contextual embeddings 应用于 neural topic models，以提高主题模型的准确性和一致性，并且研究结果表明，对自然语言处理模型的改进将会对主题模型产生积极影响。

    Apr, 2020

  • 利用 Context-to-Vector 和 Graph Retrofitting 改进词嵌入

    通过将上下文信息与传统静态嵌入相结合，以及使用预先的同义词知识和加权向量分布来提高词嵌入的效果。

    Oct, 2022

  • BERT、ELMo 和 GPT-2 嵌入的几何比较：上下文化词表示有多上下文？

    用上下文化单词表示替代静态单词嵌入在许多自然语言处理任务中都有很大的提升。本文研究了从 ELmo 和 BERT 等模型生成的上下文化表示到底有多少有多少上下文性，是否针对每个单词有无限多个上下文相关的表示，还是本质上分配了一个有限数量的单词感觉表示。

    Sep, 2019