Apr, 2021

单多义等级和语义划分揭示：BERT 的表现

HTML
PDF
TL;DR该研究针对多语言预训练语言模型（LMs）的词汇多义性知识不清晰的问题，提出了一种新的实验方法，通过对反应词语多义性分布的数据集进行分析，控制与多义性高度相关的参数，证明BERT-derived的表示能够反映单词的多义水平以及它们拆分为不同义项。它揭示了 contextualized representations 中编码的知识并为多语言词汇语义研究开创了新的途径。
发现论文，激发创造
  • 打开西门子：深入探讨 BERT 的语言知识

    本文探讨了BERT对句法层次结构、位置信息以及自注意力向量的编码，并发现BERT在较低的层次上良好地编码了位置信息，在较高的层次上则更倾向于编码层次结构，这表明BERT的表示法确实模拟了语言的一些层次结构，并且对于处理反身代词的普遍敏感性没有人类大脑那么强。

    Jun, 2019

  • BERT作为一个分布式语义模型的评估

    本文研究了语境化单词嵌入，并集中讨论了BERT这一深度神经网络，该网络产生了语境化的单词嵌入并在多个语义任务中创下了最好的记录，并研究了其嵌入空间的语义一致性。该文章表明，BERT具有一定的语义一致性，但并未完全符合语义向量空间的自然期望，尤其是发现单词出现在的句子位置虽然不具含义，但在单词嵌入中留下了明显的痕迹，破坏了相似性关系。

    Nov, 2019

  • 多语言BERT的跨语言能力：实证研究

    通过在不同语言和不同自定义NLP任务上的实验研究，本文详细研究了M-BERT中不同组建在其跨语言能力中的贡献，发现词汇重叠在跨语言成功中起到微不足道的作用，而网络深度则是成功的一个重要因素。

    Dec, 2019

  • 多语言BERT中跨语言能力和语言特异信息的研究

    本研究针对跨语言能力对多语言BERT进行了深入实验研究，发现数据大小和上下文窗口大小是跨语言能力的关键因素，探讨了多语言BERT中的语言特定信息，通过操作潜在表示控制多语言BERT的语言输出，实现了无监督令牌翻译，并提出了一种计算成本低但有效提高多语言BERT跨语言能力的方法。

    Apr, 2020

  • 用语义类别探测量化单词表示的情境化

    通过研究BERT中的单词上下文含义的量化，我们展示了预训练语言模型如何解释单词在上下文中的重要性，结果显示顶层语义表示对于任务的推断非常准确，底层语义表示更具可转移性。

    Apr, 2020

  • 探究预训练语言模型的词汇语义

    本研究针对6种不同语言和5种不同词汇任务，对单语和多语言源LM、无上下文编码和有上下文编码、特殊标记的包含和分层平均等不同词汇知识提取策略的影响进行了系统的实证分析，并验证了较低变压器层携带更多类型级词汇知识的主张。

    Oct, 2020

  • 上下文诱导的词嵌入编码人类词义知识的方面

    本文探讨了自然语言处理中的一项工作，基于BERT嵌入空间来评估英语单词的多义和同音词意义之间的相关性。发现使用BERT嵌入模型能够在意义表示上更加清晰地捕捉多义性和同音词意的潜在结构，具有潜在的应用价值。

    Oct, 2020

  • 语境化语言模型中的词汇歧义模式

    本文研究了语境化语言模型的多义词辨别能力。作者提出了一个人工注释的数据集，用于评估多义词词义的相似性，发现多义词的词义相似性介于相同和同音异义之间，并呈现出一定的词义变化规律性。BERT Large在相似性等级方面表现最佳，但无法一致地复制观察到的相似性模式，并且在某些类型的多义词变化上存在问题。

    Sep, 2021

  • 多语言BERT嵌入空间中的各向同性分析

    研究探讨如何解决多语种 BERT 模型在语言表示中的异构性以及异常维度，以提高其表现力和性能，并发现各种语言的嵌入空间在结构上部分类似。

    Oct, 2021

  • 探究预训练语言模型子层中多义词的上下文定位

    本研究解决了预训练语言模型中多义词的上下文表示能力不足的问题。通过实证实验，我们发现不同子层对于多义词的上下文表示有显著影响，尤其是在句子中词的位置和上下文长度方面。主要发现表明，在短上下文窗口中，BERT的上层子层对于特定位置的词拥有较高的上下文能力，但这种能力不能广泛推广至其他位置和上下文大小。

    Sep, 2024