ACLApr, 2021

单多义等级和语义划分揭示：BERT 的表现

PDF
TL;DR该研究针对多语言预训练语言模型（LMs）的词汇多义性知识不清晰的问题，提出了一种新的实验方法，通过对反应词语多义性分布的数据集进行分析，控制与多义性高度相关的参数，证明 BERT-derived 的表示能够反映单词的多义水平以及它们拆分为不同义项。它揭示了 contextualized representations 中编码的知识并为多语言词汇语义研究开创了新的途径。
pre-trained language modelslexical polysemymultilingual bertsense distributionscontextualised representations
发现论文，激发创造
  • 利用 BERT 进行词义消歧

    本文提出使用 BERT 提取更好的词义多义词表征表示用于词义消歧 (WSD)，并探索了几种 BERT 和分类器的组合方式。通过使用单一分类器来训练所有词语的语义定义，使模型能够消除未知的多义词。实验结果显示，我们的模型在标准的英语全词 WSD 评估中取得了最先进的结果。

    Sep, 2019

  • PolyLM: 通过语言模型学习多义词

    PolyLM 是一种基于语言建模的词义嵌入方法，能够融合上下文化嵌入技术，通过对词义的建模及概率计算实现更加准确的词义感知，在词义感知任务上性能优于先前的方法，且只有现有方法参数数量的六分之一。

    Jan, 2021

  • 探究预训练语言模型的词汇语义

    本研究针对 6 种不同语言和 5 种不同词汇任务，对单语和多语言源 LM、无上下文编码和有上下文编码、特殊标记的包含和分层平均等不同词汇知识提取策略的影响进行了系统的实证分析，并验证了较低变压器层携带更多类型级词汇知识的主张。

    Oct, 2020

  • 上下文诱导的词嵌入编码人类词义知识的方面

    本文探讨了自然语言处理中的一项工作，基于 BERT 嵌入空间来评估英语单词的多义和同音词意义之间的相关性。发现使用 BERT 嵌入模型能够在意义表示上更加清晰地捕捉多义性和同音词意的潜在结构，具有潜在的应用价值。

    Oct, 2020

  • 语境化语言模型中的词汇歧义模式

    本文研究了语境化语言模型的多义词辨别能力。作者提出了一个人工注释的数据集，用于评估多义词词义的相似性，发现多义词的词义相似性介于相同和同音异义之间，并呈现出一定的词义变化规律性。BERT Large 在相似性等级方面表现最佳，但无法一致地复制观察到的相似性模式，并且在某些类型的多义词变化上存在问题。

    Sep, 2021

  • 多语言 BERT 模型的词形句法探测

    本研究介绍了一个广泛的多语言探测词形信息数据集，利用预训练变形金刚模型（mBERT 和 XLM-RoBERTa），并应用两种方法确定输入中区别信息的位置以实现强大的性能。其中最显著的发现是前缀上下文持有比后缀上下文更多相关预测信息。

    Jun, 2023

  • 从多语言 BERT 感知单词级别翻译

    本研究探讨了多语言 BERT（mBERT）的跨语言表示，并提出了两种简单的方法来暴露其卓越的翻译能力。研究结果表明，mBERT 学习表示既包含语言编码组件，又包含抽象的跨语言组件，并明确确定了一种 mBERT 表示中的经验语言识别子空间。

    Oct, 2020

  • 通过逐层维度选择从预训练语言模型中解析单词语义

    该论文使用二进制掩码对预训练模型中不同层的输出进行切割，以解离 BERT 中的语义意义，而不更新预训练参数，从而产生解离的嵌入表示。使用二进制分类验证解离的嵌入的效果，判断两个不同句子中目标词的含义是否相同。实验结果表明，利用层次信息是有效的，而解离的语义意义进一步提高了性能。

    Oct, 2023

  • 在多语言 BERT 中发现通用语法关系

    本研究针对多语言 BERT 的序列到序列建模进行实验，证实其不需要训练就能够实现跨语言的转化，并提出一种无监督的分析方法，证明 Multilingual BERT 可以学习到一定的语言普遍规律。

    May, 2020

  • 词义消歧语言模型的分析与评价

    本文对 BERT 模型在词汇歧义方面的能力及其潜在局限性进行了深入的定量和定性分析。作者发现，BERT 可以准确地捕捉高级别的意义区别，但对于具有限定条件的名词消歧问题，处理仍存在很多挑战。作者还在两种主要的基于语言模型的 WSD 策略（即微调和特征提取）之间进行了深入比较，并发现后一种方法更为稳健。

    Aug, 2020