ACLOct, 2021

Dict-BERT: 使用词典增强语言模型预训练

PDF
TL;DR本研究提出了一种基于字典定义增强语言模型预训练的方法，并在多个自然语言处理基准测试集上证明 Dict-BERT 模型能够显著提高对于生僻词的理解和各种下游任务的表现。
pre-trained language modelsrare wordsdictionary definitionself-supervised pre-traininglanguage understanding
发现论文，激发创造
  • DictBERT：基于对比学习的词典描述知识增强语言模型预训练

    DictBERT 采用对抗学习，通过词典的知识注入方法，加强预训练语言模型以获得更好的表示，实验证明在各种知识驱动的自然语言处理任务中极大提升了 PLMs 的性能。

    Aug, 2022

  • DICT-MLM：使用双语词典的改进多语种预训练

    本文提出 DICT-MLM 方法以促进跨语言表示学习，分析表明该方法在多种涉及 30 多种语言的下游任务中表现出了更好的多语言表示能力。

    Oct, 2020

  • BERTRAM：优化单词嵌入对上下文模型性能具有巨大影响

    本文提出了一种名为 BERTRAM 的基于 BERT 的结构，用于为罕见词建立高质量的嵌入表示，从而提高深层语言模型在罕见词和中频词上的表现。实验表明，在罕见词探查任务和三种下游任务上，与 BERT 相结合可以显著提高罕见词和中频词的表示。

    Oct, 2019

  • PERT: 使用排列语言模型对 BERT 进行预训练

    本文提出了一种新的预训练语言模型 (PERT)，它是一种自动编码模型，使用排列语言模型技术进行训练，并应用全词遮盖和 N-gram 遮盖以提高其性能。实验结果表明，PERT 可以在某些任务上比其他相似模型有更好的性能表现。

    Mar, 2022

  • 稀有词汇：上下文嵌入的主要问题及关注模拟的解决方案

    本文讨论使用语言建模目标预训练深度神经网络架构对自然语言处理任务的大幅改进。在此基础上，利用 Attentive Mimicking 这一方法适应于深度语言模型的 embeddings。作者提出一个单词级别的近似的过程，使得即使基础语言模型使用基于子词的标记化也能使用 Attentive Mimicking。通过作者自己创建的数据集进行评估，将经过改进的 Attentive Mimicking 加入 BERT 确实大大提高了其对稀有单词的理解能力。

    Apr, 2019

  • LERT: 一种基于语言学动机的预训练语言模型

    本论文提出了一种名为 LERT 的预训练语言模型，通过使用一种称为语言信息预训练策略，使用三种类型的语言特征以及原始的 MLM 预训练任务来训练，对于十种汉语 NLU 任务，LERT 能够带来显着的改进。

    Nov, 2022

  • CharBERT：基于字符的预训练语言模型

    本文提出的 CharBERT 模型是一个字符感知的预训练语言模型，通过新颖的异构交互模块将字符表示和子词表示进行融合，并提供了一种名为 NLM 的无监督字符表示学习的新的预训练任务，实验结果表明该模型能够同时提高 PLM 的性能和鲁棒性。

    Nov, 2020

  • 用词典嵌入学习理解短语

    使用字典中的定义作为桥梁，将定义（短语）映射到单词的词汇表达式上，利用这种方式进行训练的神经嵌入模型能够有效地解决短语和句子的语义表示问题，并具有广泛应用前景。

    Apr, 2015

  • 针对词级语义相似性的无监督预训练模型专业化

    本研究将外部词汇知识与 BERT 模型的多任务学习相结合，提出了一种 “词汇知情” 的 BERT（LIBERT）模型，比起原始 BERT 在多项语言任务和词汇简化任务中均有显著提高。

    Sep, 2019

  • 利用单词嵌入正则化进行语言模型的任务自适应预训练

    该论文提出了一种名为 TAPTER 的新型 fine-tuning 方法，该方法可以通过调整 PTLM 的静态词嵌入来实现领域自适应，无需额外的语料库，并且能提高标准 fine-tuning 和任务自适应预训练在生物医学和维基百科领域的性能。

    Sep, 2021