动态语境词嵌入

ACLOct, 2020

Dynamic Contextualized Word Embeddings

Valentin Hofmann, Janet B. Pierrehumbert, Hinrich Schütze

TL;DR本研究提出基于预训练语言模型的动态情境词向量，能够以语言和非语言环境为依据来表征单词的含义变化，并在四个英文数据集上做出定性和定量分析，以彰显其应用潜力。

Abstract

Static word embeddings that represent words by a single vector cannot capture the variability of word meaning in different linguistic and extralinguistic contexts. Building on prior work on contextualized and dynamic word embeddings, we introduce dynamic contextualized word embeddings

dynamic contextualized word embeddings pretrained language model nlp tasks semantic variability linguistic and extralinguistic context

发现论文，激发创造

动态词向量

该研究提出了一种基于概率的语言模型，可以跟踪个别单词随时间的语义演变，并通过嵌入空间中的潜在轨迹表示单词和上下文。研究发现，该动态模型推断的单词嵌入轨迹更易解释，并且具有更高的预测性可能性。

Feb, 2017

利用上下文嵌入模型获得更好的静态词嵌入

本研究提出使用基于 CBOW 的训练方法进行文本嵌入的知识蒸馏，可以有效地提高自然语言处理应用程序的计算效率，同时优于从头开始训练的静态嵌入和以前提出的方法提炼的嵌入。此外，该方法还可以通过标准词汇评估任务公平比较上下文和静态嵌入。

Jun, 2021

动态伯努利嵌入在语言演化中的应用

本文提出了动态词嵌入的概率框架，通过分析三个历史文本集合，证明了动态词嵌入提供比传统词嵌入更好地适应和更好地捕捉语言变化的有趣模式。

Mar, 2017

静态和上下文多语言嵌入的结合

本文介绍了一种将静态嵌入和上下文嵌入相结合的方法，通过提取 40 种语言的静态嵌入并使用 VecMap 校准来改善多语言表示，与此同时，应用新颖的持续预训练方法来进一步提高 XLM-R 的表示精度，并在多个复杂语义任务中展现出积极的效果。

Mar, 2022

对土耳其语的静态词嵌入进行的全面分析

比较和评估了几个上下文和非上下文模型在土耳其语的内在和外在评估设置中的性能，通过分析模型的句法和语义能力进行了细粒度比较，并建立了土耳其词嵌入库作为土耳其自然语言处理领域的重要资源。

May, 2024

公共领域感知映射的简单动态词嵌入

本文提出了一个统一动态嵌入模型，它能学习属性特定的单词嵌入，在历史语料库中调查了性别、种族和难民等方面的偏见。结果发现，动态嵌入模型与独立向量空间模型相比，在表示语言偏见方面更具优越性或更劣。

Apr, 2019

使用上下文化单词嵌入作为代理学习具有特定意义的静态嵌入

本文介绍了一种名为 Context Derived Embeddings of Senses (CDES) 的方法，它从上下文嵌入中提取感官相关信息，并将其注入到静态嵌入中，以创建特定于感官的静态嵌入。实验结果表明，CDES 能够准确地学习感官特定的静态嵌入，具有与当前最先进的感官嵌入相当的性能。

Oct, 2021

动态词向量用于演化中的语义发现

该研究通过发展一种动态统计模型学习时态感知的词向量表示，并实现了 “对齐问题” 的解决，从而可以可靠地捕捉时间上的语言演变，并在语义准确性和对齐质量方面持续优于现有的时间嵌入方法。

Mar, 2017

上下文嵌入概述调查

该综述评估了现有的上下文嵌入模型，跨语言多语预训练，上下文嵌入在下游任务中的应用，模型压缩和分析。

Mar, 2020

用于提高句子表示的动态元嵌入

介绍了一种通过神经网络自行学习嵌入向量的方法 —— 动态元嵌入，该方法在同一模型类别下，在各种任务中实现了最先进的性能，并展示了该技术如何在 NLP 系统中应用嵌入向量。

Apr, 2018