Sep, 2019

针对词级语义相似性的无监督预训练模型专业化

PDF
TL;DR本研究将外部词汇知识与 BERT 模型的多任务学习相结合，提出了一种 “词汇知情” 的 BERT（LIBERT）模型，比起原始 BERT 在多项语言任务和词汇简化任务中均有显著提高。
unsupervised pretraining modelsnlp applicationslexical knowledgemulti-task learningglue benchmark
发现论文，激发创造
  • 利用注释规范化的预训练方法改进上下文表示

    为了解决 BERT 模型在预训练和推理之间存在的差异，我们从单词概率分布的角度研究预训练和推理的上下文表示，并发现 BERT 在预训练中存在忽略上下文单词相似性的风险。通过引入辅助注释正则化器，我们提出了一个增强单词语义相似性的 GR-BERT 预训练模型，并设计了两种体系结构进行评估和实验，结果表明该模型较之前模型在词汇替换和文本语义任务中达到了新的最优效果。

    May, 2022

  • SenseBERT: 将一些意义驾驭进 BERT

    本文提出了一种名为 SenseBERT 的神经语言模型，通过利用单词意义级别直接进行弱监督，预测掩码单词及其 WordNet 超级意义，达到了词汇语义级别的语言模型，实验结果显示，在 SemEval Word Sense Disambiguation 任务和单词上下文任务中，SenseBERT 取得了显著的改进和最新的成果。

    Aug, 2019

  • 显式配对词交互建模改善预训练 Transformer 在英语语义相似性任务中的性能

    本研究使用 BERT 模型，通过引入显式的有限制的单词成对交互机制，提高了语义相似度和答案句子选择等 4 项任务的性能。

    Nov, 2019

  • 从词汇资源中提取的知识增强单词嵌入

    提出了一种用于词向量表示的语义专业化的有效方法，使用传统的词嵌入并应用专业化方法以更好地捕捉单词之间的语义关系，结合来自丰富词汇资源（如 BabelNet）的外部知识，以及使用基于对抗式神经网络及 Wasserstein 距离的后处理专业化方法，证明在两个任务上（单词相似性和对话状态跟踪）实现了大于现有方法的改进。

    May, 2020

  • Word2Vec 和词典在领域特定语义相似度方面的协同联合

    本研究引入了一个领域特定的语义相似度方法，该方法是由 word2vec 和基于词典的语义相似度方法的协同联盟所创建的，并证明了该方法优于通用语料库和域特定语料库训练的词嵌入方法，还证明了词形归并可以提高词嵌入方法的性能。

    Jun, 2017

  • 关于预训练语言模型中句子嵌入的研究

    本篇论文提出通过使 BERT 句子嵌入分布变换成平滑和各向同性的高斯分布，从而提高 BERT 在各种语义文本相似度任务中的表现。实验证明，我们提出的 BERT-flow 方法在各种任务中显著优于现有状态下的句子嵌入方法。

    Nov, 2020

  • 针对无监督神经机器翻译，提升预训练语言模型的词汇能力

    本文介绍了一种基于子词嵌入的双语掩码语言模型预训练方法，应用于无监督神经机器翻译和双语词汇归纳任务中均取得了较好的性能表现。

    Mar, 2021

  • 蒸馏模型中的对比学习

    使用 SimCSE 论文中的适用对比学习方法，将基于知识蒸馏模型 DistilBERT 的模型架构进行调整，以解决自然语言处理模型在语义文本相似度上效果不佳且过大无法部署为轻量级边缘应用的问题，最终得到的轻量级模型 DistilFace 在 STS 任务的 Spearmans 相关性上达到了 72.1，相比 BERT Base 提升了 34.2％。

    Jan, 2024

  • 神经网络时间关系分类的词级损失扩展

    本文介绍了一种利用无标签文本数据的无监督预训练词向量，通过加入未监督辅助损失（unsupervised auxiliary loss）来扩展分类模型的任务损失，确保学习到的词表示包含了从监督损失组件中学到的 task-specific 特征和从未监督损失组件中学到的更通用的特征，并在临床记录的叙述包含关系抽取任务上对其进行了评估，使用通用类型的词性标注器作为语言资源，在 THYME 数据集上实现了技术上的提高。

    Aug, 2018

  • 用于语义网络填充的多任务预训练语言模型

    本文研究如何提高知识图谱的完整性，通过引入 LP-BERT 模型，并结合语义匹配以及数据增强的方法，实现了知识图谱补全任务的最新成果，优于现有最佳表现。

    Jan, 2022