双向 Transformer：（西班牙语）上下文中的多义词的表示：新的词汇资源和实证分析

EMNLPJun, 2024

双向 Transformer：（西班牙语）上下文中的多义词的表示：新的词汇资源和实证分析

Bidirectional Transformer Representations of (Spanish) Ambiguous Words in Context: A New Lexical Resource and Empirical Analysis

PDF

Pamela D. Rivière, Anne L. Beatty-Martínez, Sean Trott

TL;DR通过比较多种 BERT-based 语言模型中的语境化词嵌入，我们评估了西班牙语歧义名词的语义表达。我们开发了一个新颖的句子数据集，并收集了人类的相关性判断。结果显示，这些语言模型的语义表达在人类判断中捕捉到一些差异，但不能达到人类水平。与英语不同，我们发现在西班牙语中，模型规模与性能之间没有相关性。此外，我们还发现了目标名词消歧的陈规轨迹，并在英语中部分复制了这一结果。我们贡献了（1）一组包含人类相关性判断的西班牙语句子刺激数据集，以及（2）认识到语言模型规格（结构，训练方案）对语境化嵌入的影响。

Abstract

lexical ambiguity -- where a single wordform takes on distinct, context-dependent meanings -- serves as a useful tool to compare across different large language models' (LLMs') ability to form distinct, contextua

lexical ambiguity large language models contextualized word embeddings spanish ambiguous nouns bert-based llms

发现论文，激发创造

语境化语言模型中的词汇歧义模式

本文研究了语境化语言模型的多义词辨别能力。作者提出了一个人工注释的数据集，用于评估多义词词义的相似性，发现多义词的词义相似性介于相同和同音异义之间，并呈现出一定的词义变化规律性。BERT Large 在相似性等级方面表现最佳，但无法一致地复制观察到的相似性模式，并且在某些类型的多义词变化上存在问题。

Sep, 2021

RAW-C：上下文中模糊词的相关性（英语新词汇资源）

该论文介绍了 RAW-C，一种对 112 个上下文中的模棱两可的单词进行分级人类相关性判断的数据集，以及来自 BERT 和 ELMo 的情境化词嵌入的余弦距离的度量与人类判断的相关性。同时，这份论文提出了心理语言学的理论与词汇语义计算模型之间的综合。

May, 2021

基于大型语言模型的机器翻译的有效消歧

通过利用大型语言模型，我们研究了在机器翻译中解决语义歧义的能力，并提出了两种改进方法，通过上下文学习和在精心策划的歧义数据集上的微调，我们的方法在五种语言方向中有四种能够匹敌或胜过 DeepL 和 NLLB 等最先进的系统，为将大型语言模型有效地用于歧义消解的机器翻译提供了有价值的见解。

Sep, 2023

词义消歧语言模型的分析与评价

本文对 BERT 模型在词汇歧义方面的能力及其潜在局限性进行了深入的定量和定性分析。作者发现，BERT 可以准确地捕捉高级别的意义区别，但对于具有限定条件的名词消歧问题，处理仍存在很多挑战。作者还在两种主要的基于语言模型的 WSD 策略（即微调和特征提取）之间进行了深入比较，并发现后一种方法更为稳健。

Aug, 2020

演讲者通过上下文填补词汇语义空缺

通过研究 18 种不同语言中的单词，文章证明了词汇歧义的大小与上下文提供关于其信息量的相关性，从而推断有歧义的单词可以在上下文中被澄清，使其更好理解。

Oct, 2020

利用上下文嵌入的基于转移的抽象含义表示解析

该论文提出了一种名为 AmrBerger 的新的语义分析器，它探索了预训练上下文感知的单词嵌入在 AMR 分析中的可用性，并发现这些丰富的词汇特征与额外的概念信息的结合可以提高系统的性能。同时，通过分析，也展现了上下文嵌入的优点和局限，这为进一步深入理解提供了启示。

Jun, 2022

预训练多语言表示的语言中立性

本文研究了多语种上下文嵌入的语言中性和词汇语义，提出了两种实现更强语言中性的方法，并展示了在不使用平行数据的情况下如何达到语言识别的最新准确率以及匹配平行句子的词对齐统计方法的性能。

Apr, 2020

情境化的词义感知：从注意力到组合性

使用语义组合性建模的透明、可解释和语言学动机策略，模拟词的上下文意义编码，并且与复杂神经结构下的黑盒模型相比，显示其与语言学动机模型在给定语义任务中的竞争力。

Dec, 2023

将单词置于上下文中：LSTM 语言模型和词汇歧义

本研究使用神经网络模型处理语言，探讨了 LSTM 语言模型如何处理英语中的词汇歧义，通过探究其隐藏的表示方式发现大量的词汇信息与上下文信息被表述，但上下文信息有待提高。

Jun, 2019

恐怕语言模型未对歧义建模

本论文提出了一个基于语言学家注释的语言歧义数据集，并测试了预训练的语言模型在识别和分离歧义上的表现。结果表明，这是一个极具挑战性的任务，现有的模型正确率仅为 32％，本文挑战学术界重新认识语言歧义在自然语言处理中的重要性。同时，本文还展示了一个多标签自然语言推理模型如何帮助识别由于语言歧义而引起的虚假政治言论。

Apr, 2023