EMNLPSep, 2021

Phrase-BERT：基于 BERT 的短语嵌入改进及应用于语料库探索

PDF
TL;DR本文提出了一种对 BERT 进行微调的方法（Phrase-BERT），使其能够生成更强大的短语嵌入，Phrase-BERT 利用一个由短语描述形式多样的同义词集以及从 Books3 语料库中挖掘的大规模情境短语数据集生成模型，并在各种短语级相似性任务中优于基线。 此外，该文还将 Phrase-BERT 嵌入式与简单的自编码器相结合，构建了一种利用向量空间中最近邻搜索将主题解释为词和短语混合的短语主题模型。 众包评估表明，该短语主题模型比基线的单词和短语级主题模型产生更一致和有意义的主题，进一步验证了 Phrase-BERT 的效用。
发现论文，激发创造
  • 利用释义研究上下文嵌入的特性

    通过使用释义作为数据源，我们分析了上下文嵌入，特别关注 BERT。由于释义自然地编码了一致的单词和短语语义，因此它们为研究嵌入的属性提供了独特的视角。我们发现上下文嵌入可以有效地处理多义词，但在许多情况下，在语义相似的情况下，给出了不同的同义词表示表现。我们证实了 BERT 对单词顺序的敏感性，但发现不同于以往的研究，BERT 的各层在上下文化程度方面存在稍微不同的模式。

    Jul, 2022

  • 学习高品质和通用性的短语表示

    我们提出了一个改进的框架来以无上下文的方式学习短语表示，该框架使用短语类型分类作为辅助任务，并更有效地将字符级信息融入短语表示，通过设计三种不同程度的数据增强来增加训练样本的多样性，我们的实验结果表明，相对于先前的方法，我们的方法生成了更优秀的短语嵌入，同时还需要更小的模型大小。

    Jan, 2024

  • 基于 Transformer 的大语料库语义相似度分析的认知研究

    本文利用传统技术和转换器技术对美国专利短语进行语义相似性分析和建模，并对 Decoding Enhanced BERT（DeBERTa）的四种不同变体进行实验，在此基础上通过 K 次交叉验证提高性能，实验结果表明我们的方法比传统技术更具有优越性，平均 Pearson 相关系数为 0.79。

    Jul, 2022

  • PromptBERT: 利用提示提高 BERT 句子嵌入

    本文提出了一种新的对比学习方法 PromptBERT，用于改进句子表示的效果，在分析当前 BERT 句子嵌入的缺陷后，通过两种提示表示方法和三种提示搜索方法实现更好的句子嵌入，同时通过模板去噪技术，提出了一种新的无监督训练目标，大大缩短了有监督和无监督设置之间的性能差距，实验证明了方法的有效性。

    Jan, 2022

  • 为新十年打下基础：使用 BERT 进行序列标注、句法和语义分析

    本研究采用最新的语境化嵌入框架 BERT，为词性标注、句法分析和语义分析三个任务提出了最新的技术模型，并在 12 个英文和中文数据集上进行了实验，结果表明 BERT 模型在这三项任务中均优于当前最佳模型平均 2.5％（最显着的情况下是 7.5％），并提供了关于 BERT 嵌入影响的深入分析。

    Aug, 2019

  • 可聚合的上下文化词向量用于有效短语挖掘

    当目标短语位于噪音上下文中时，单个密集向量不足以进行有效的短语检索；因此，我们提出了代表多个子句、连续词语片段的概念，每个片段都有自己的密集向量，并引入了一种修改后的对比损失函数用于鼓励词嵌入具备此属性，并展示了该方法在短语挖掘中的改进效果。

    May, 2024

  • BERT 的通用文本表示：一项实证研究

    该论文系统地研究了面向通用文本表示的分层 BERT 激活，以了解其捕获的语言信息以及它们在不同任务之间的可转移性。在下游和探测任务中，句子级别的嵌入与两个最先进的模型进行了比较，而段落级别的嵌入则在四个问答（QA）数据集上进行了学习排名问题设置的评估。结果表明，将预训练的 BERT 模型微调于自然语言推断数据上可以显著提高嵌入的质量。

    Oct, 2019

  • 自我引导的对比学习方法用于 BERT 句子表示

    本文提出使用对比学习的方法，通过自我指导来改善 BERT 的句子表示质量，并将其应用于句子表示学习中。实验证明，与竞争对手的基线相比，我们的方法在广泛的句子相关任务上更加有效，并且在推理时效率高且鲁棒性强。

    Jun, 2021

  • Transformer 模型微调和组合之间的相互作用

    研究发现，预训练的转换语言模型在很多 NLP 任务上表现出色；然而，这些模型在短语级别的表示中，除了词汇内容外，缺乏复杂的组合短语信息，进一步的 fine-tuning 只能在情感任务中局部提高性能，而在重新释义任务中则由于数据集中可能存在干扰信号的原因而不能提供改进。

    May, 2021

  • E-BERT: 电商领域短语和产品知识增强语言模型

    提出了一个名为 E-BERT 的统一的预训练框架，旨在解决 BERT 在 E-commerce 相关任务中无法很好支持两种级别的领域知识的问题，该框架通过自适应混合掩蔽实现了短语级别知识的保留以及通过邻居产品重构实现了利用产品级别知识，研究表明 E-BERT 在评论问答、方面提取、方面情感分类和产品分类等四个下游任务中有着良好的表现。

    Sep, 2020