May, 2021

LMMS Reloaded: 基于 Transformer 的语义嵌入用于消歧和更多应用

PDF
TL;DR该研究介绍了如何使用神经语言模型，通过从所有层收集信息生成感知嵌入，并展示了这些嵌入的多种领域应用，特别是在词义消歧任务中，提出的方法通过对 14 个神经语言模型变体的分析，在准确性和任务多样性方面实现了改进。
发现论文，激发创造
  • 语言建模具有意义：通过 WordNet 传播表征进行全覆盖词义消歧

    利用语境嵌入表示的词义表征，基于 WordNet 全覆盖创造了意义级别嵌入，并不依赖于显式知识或任务特定建模，从而实现了前所未有的词语消歧性能提升。

    Jun, 2019

  • 使用 BERT 知识蒸馏进行词义归纳

    该研究提出了一种两阶段的方法，使用上下文中单词意义的注意力来提取一个单词的多重意义，并将其传递到 skip-gram 模型中，以生成多重意义的嵌入，这比现有技术表现更好，可应用于主题建模。

    Apr, 2023

  • sense2vec - 一种快速准确的神经词嵌入词义消歧方法

    本篇论文提出了一种新的方法，基于监督式消歧，为每个单词建立多个嵌入向量，从而针对字面意思和文本语境对不同主题进行消歧，以及在神经依赖分析上具有更好的错误率表现。

    Nov, 2015

  • 使用仅词嵌入的方法对 158 种语言进行词义消歧

    本研究提出了一种基于预训练的词嵌入，利用完全无监督和无基于知识的方法诱导一个完整的词义库，并实现对 158 种语言中的单词进行上下文消歧，对于资源匮乏的语言特别有用。

    Mar, 2020

  • 词义消歧语言模型的分析与评价

    本文对 BERT 模型在词汇歧义方面的能力及其潜在局限性进行了深入的定量和定性分析。作者发现，BERT 可以准确地捕捉高级别的意义区别，但对于具有限定条件的名词消歧问题，处理仍存在很多挑战。作者还在两种主要的基于语言模型的 WSD 策略（即微调和特征提取）之间进行了深入比较，并发现后一种方法更为稳健。

    Aug, 2020

  • 情境化的词义感知：从注意力到组合性

    使用语义组合性建模的透明、可解释和语言学动机策略，模拟词的上下文意义编码，并且与复杂神经结构下的黑盒模型相比，显示其与语言学动机模型在给定语义任务中的竞争力。

    Dec, 2023

  • 上下文词嵌入的逐步语义权重训练

    本研究提出一种新颖的在线算法，通过最小化上下文嵌入组内的距离来学习单词嵌入中每个维度的本质，以三种最先进的基于神经网络的语言模型 Flair、ELMo 和 BERT 生成上下文嵌入，为同一词汇类型生成不同的嵌入，这些嵌入由 SemCor 数据集手动标注的意义进行分组，结论表明本文提出的算法不会损伤性能，甚至能提高 3%，可以用于未来关于上下文嵌入可解释性的研究。

    Nov, 2019

  • 上下文诱导的词嵌入编码人类词义知识的方面

    本文探讨了自然语言处理中的一项工作，基于 BERT 嵌入空间来评估英语单词的多义和同音词意义之间的相关性。发现使用 BERT 嵌入模型能够在意义表示上更加清晰地捕捉多义性和同音词意的潜在结构，具有潜在的应用价值。

    Oct, 2020

  • 通过逐层维度选择从预训练语言模型中解析单词语义

    该论文使用二进制掩码对预训练模型中不同层的输出进行切割，以解离 BERT 中的语义意义，而不更新预训练参数，从而产生解离的嵌入表示。使用二进制分类验证解离的嵌入的效果，判断两个不同句子中目标词的含义是否相同。实验结果表明，利用层次信息是有效的，而解离的语义意义进一步提高了性能。

    Oct, 2023

  • 针对深度组合模型的语法感知多义词嵌入

    本研究详细介绍了一个基于丰富的单词嵌入的组成分布式框架，旨在促进句子中单词之间的交互，并使用环境中的句法信息来增强向量。研究结果表明，该框架在 MSRPar 任务上取得了具有代表性的结果。

    Aug, 2015