利用对比学习提高基于令牌的上下文表示的效果：注入维基词典

ACLFeb, 2024

利用对比学习提高基于令牌的上下文表示的效果：注入维基词典

Injecting Wiktionary to improve token-level contextual representations using contrastive learning

Anna Mosolova, Marie Candito, Carlos Ramisch

TL;DR我们调查了如何通过英语 Wiktionary 作为替代监督源来注入词汇，并测试了降维对生成的上下文词嵌入的影响。通过在无监督设置下（不使用训练集），我们在 Word-In-Context（WiC）任务中取得了新的 SoTA 结果，并提出了两个新的 WiC 测试集来展示我们的微调方法实现了显著的改进。同时，我们也观察到了语义框架归纳任务的改进，尽管程度适度。虽然我们的实验是在英语上进行的，以便与相关工作进行比较，但我们的方法适用于许多具有大型 Wiktionary 的语言。

Abstract

While static word embeddings are blind to context, for lexical semantics tasks context is rather too present in contextual word embeddings, vectors of same-meaning occurrences being too different (Ethayarajh, 201

static word embeddings contextual word embeddings pre-trained language models supervision dimensionality reduction

发现论文，激发创造

从对比微调的语言模型中提取语义概念嵌入

提出通过对比学习策略来改进概念嵌入的语义表示方法，使用全新的 contextualized vectors 代替传统平均表示方法，可优化概念嵌入中的语义属性，使得使用该方法后的概念嵌入能在预测语义属性上显著突出于传统概念嵌入方法，尤其是使用 ConceptNet 的方法的效果最佳。

May, 2023

基于去文本化嵌入的无监督词汇替换

本文采用预训练语言模型提出一种新的无监督词汇替换方法，通过根据单词在多个上下文中的平均上下文表示相似性来检索替代词，实验表明该方法在英语和意大利语上表现明显优于强基线，并且能够成功预测低频替代词且不受形态和句法中的词汇一致性的影响。

Sep, 2022

词汇语义变化的上下文化词嵌入系统比较

现有的 LSC 问题评估通常集中在 Graded Change Detection (GCD) 任务上，但由于它们依赖不同的设置，性能比较往往会误导。本研究在相同的条件下评估了最先进的 GCD 模型和方法，并将 LSC 问题分解为 Word-in-Context (WiC) 和 Word Sense Induction (WSI) 任务，在不同语言上对八个可用的 LSC 基准进行了比较，表明 (i) APD 在 GCD 方面优于其他方法；(ii) XL-LEXEME 在 WiC、WSI 和 GCD 方面优于其他上下文化模型，与 GPT-4 相当；(iii) 需要明确改进词义建模以及关注词义变化的方式、时间和原因，而不仅仅关注语义变化的程度。

Feb, 2024

上下文词嵌入的逐步语义权重训练

本研究提出一种新颖的在线算法，通过最小化上下文嵌入组内的距离来学习单词嵌入中每个维度的本质，以三种最先进的基于神经网络的语言模型 Flair、ELMo 和 BERT 生成上下文嵌入，为同一词汇类型生成不同的嵌入，这些嵌入由 SemCor 数据集手动标注的意义进行分组，结论表明本文提出的算法不会损伤性能，甚至能提高 3%，可以用于未来关于上下文嵌入可解释性的研究。

Nov, 2019

WiC：用于评估上下文感知意义表征的词语上下文数据集

本文阐述了词嵌入无法建模词语语义动态性的限制，并介绍了若干种解决该问题的方法，例如 sense embeddings 和 contextualized embeddings，同时指出目前缺乏适合评估动态语义的基准的不足，因此通过专家注释提出了具有广泛评估价值的大规模上下文感知语义数据集 WiC.

Aug, 2018

利用上下文嵌入模型获得更好的静态词嵌入

本研究提出使用基于 CBOW 的训练方法进行文本嵌入的知识蒸馏，可以有效地提高自然语言处理应用程序的计算效率，同时优于从头开始训练的静态嵌入和以前提出的方法提炼的嵌入。此外，该方法还可以通过标准词汇评估任务公平比较上下文和静态嵌入。

Jun, 2021

动态语境词嵌入

本研究提出基于预训练语言模型的动态情境词向量，能够以语言和非语言环境为依据来表征单词的含义变化，并在四个英文数据集上做出定性和定量分析，以彰显其应用潜力。

Oct, 2020

无监督的上下文增强词汇简化

我们提出了一种基于无监督学习的词汇简化方法，仅使用单语数据和预训练语言模型。根据目标词和其上下文，我们的方法基于目标上下文和从单语数据中抽样的附加上下文生成替代词。我们在 TSAR-2022 共享任务的英语、葡萄牙语和西班牙语上进行实验，并表明我们的模型在所有语言上都显著优于其他无监督系统。我们还通过与 GPT-3.5 模型组合，建立了一个新的最先进模型。最后，我们在 SWORDS 词汇替换数据集上评估我们的模型，获得了最先进的结果。

Nov, 2023

通过对齐稀疏上下文化词表示来解决跨语言词义消岐中的多语言问题

我们提倡在跨语言零 - shot 词义消歧中使用大型预训练单语语言模型，并结合一种上下文映射机制。我们通过字典学习过程获得了稀疏上下文化词表示，并进行了严格的实验，证明了上述改进带来了显著的提升，平均 F 分数增加了近 6.5 个百分点（从 62.0 增加到 68.5），涵盖了 17 种语言。我们在此网址发布了复制实验的源代码。

Jul, 2023

XL-WiC: 用于评估语义上下文的多语言基准

提出了一种多语言的词义消歧基准测试库（称为 XL-WiC），用于评估具有不同语言背景和资源可用性的模型，即使模型仅在英语数据上进行训练，仍能在跨语言学习中达到良好的性能。

Oct, 2020