ACLJul, 2022

利用释义研究上下文嵌入的特性

PDF
TL;DR通过使用释义作为数据源，我们分析了上下文嵌入，特别关注 BERT。由于释义自然地编码了一致的单词和短语语义，因此它们为研究嵌入的属性提供了独特的视角。我们发现上下文嵌入可以有效地处理多义词，但在许多情况下，在语义相似的情况下，给出了不同的同义词表示表现。我们证实了 BERT 对单词顺序的敏感性，但发现不同于以往的研究，BERT 的各层在上下文化程度方面存在稍微不同的模式。
paraphrasescontextualized embeddingsbertword semanticspolysemous words
发现论文，激发创造
  • 使用释义改进上下文化词嵌入

    本文章探讨了，如何通过给上下文动态变化的词嵌入模型增加同义词的语境来提高模型的稳定性，提出了一种基于改造的方法并在各种句子分类和语言推理任务中进行了实验，结果表明该方法可以有效提高模型性能。

    Sep, 2019

  • Phrase-BERT：基于 BERT 的短语嵌入改进及应用于语料库探索

    本文提出了一种对 BERT 进行微调的方法（Phrase-BERT），使其能够生成更强大的短语嵌入，Phrase-BERT 利用一个由短语描述形式多样的同义词集以及从 Books3 语料库中挖掘的大规模情境短语数据集生成模型，并在各种短语级相似性任务中优于基线。 此外，该文还将 Phrase-BERT 嵌入式与简单的自编码器相结合，构建了一种利用向量空间中最近邻搜索将主题解释为词和短语混合的短语主题模型。 众包评估表明，该短语主题模型比基线的单词和短语级主题模型产生更一致和有意义的主题，进一步验证了 Phrase-BERT 的效用。

    Sep, 2021

  • 从释义学习概率句子表示

    本文定义了能够为句子产生分布的概率模型，最佳表现的模型将每个单词视为线性转换算子应用于多变量高斯分布，并通过从定义的模型中进行训练，演示了实现句子特定性的自然方式。虽然我们的模型是整体最佳表现的，但通过句子向量的范数表示来表示句子的特异性的简单架构也能够表现句子的特异性。质性分析表明，我们的概率模型捕获了句子涵盖并提供了分析单词特异性和精确性的方法。

    May, 2020

  • 文本丰富化的密集复述

    本文提出了 Dense Paraphrasing（DP）这一文本表征转化的过程，即通过对文本表达（词汇或词组）进行重写以减少歧义并使底层语义得到明确的阐述，从而改善推理和问答任务性能。同时，作者介绍了第一个完整的 DP 数据集及注释任务的范畴和设计，并通过实验取得了令人满意的结果。

    Oct, 2022

  • 多语言神经机器翻译中使用外语重述

    本文介绍如何使用包含一致结构的训练数据作为语料库级别的释义，并将释义视为外语词汇进行 Neural Machine Translation 的训练。本方法表现出比过去的单词或短语级别的方法更好的效果，并且在使用多种语言的平行释义进行训练时表现最佳。该方法提高了翻译的 BLEU 分数，增加了词汇选择的熵和多样性。

    Aug, 2018

  • 上下文中的迷失？关于上下文化词向量的意义差异

    揭示了上下文化单词嵌入的一些特征，包括上下文中单词意思的变化程度，单词在不同上下文中的一致性，以及单词位置偏差的影响，并提出一种减轻这种偏差的简单方法。

    Aug, 2022

  • 从回译双语语料中学习复述句嵌入

    本研究使用神经机器翻译通过回译双语句子对生成句子的解释，并对语料对进行了筛选处理，在此基础上建立通用的释义句子表示模型，结果显示该模型对于很多语言领域其正确率与手动编写的英语释义句子相当。

    Jun, 2017

  • 上下文诱导的词嵌入编码人类词义知识的方面

    本文探讨了自然语言处理中的一项工作，基于 BERT 嵌入空间来评估英语单词的多义和同音词意义之间的相关性。发现使用 BERT 嵌入模型能够在意义表示上更加清晰地捕捉多义性和同音词意的潜在结构，具有潜在的应用价值。

    Oct, 2020

  • 来自平行翻译的简单有效的释义相似度

    从双语语料中直接学习释义句子嵌入的模型和方法，有效消除创建释义文本体的耗时环节。进一步地，该模型可用于跨语言任务，其性能优于且比最先进的复杂基线算法快几个数量级。

    Sep, 2019

  • 可聚合的上下文化词向量用于有效短语挖掘

    当目标短语位于噪音上下文中时，单个密集向量不足以进行有效的短语检索；因此，我们提出了代表多个子句、连续词语片段的概念，每个片段都有自己的密集向量，并引入了一种修改后的对比损失函数用于鼓励词嵌入具备此属性，并展示了该方法在短语挖掘中的改进效果。

    May, 2024