ACLJun, 2021

知识性还是教育性猜测？重新审视语言模型作为知识库

PDF
TL;DR本文对预训练掩码语言模型（MLMs）在不同抽取范式下的预测机制进行了研究，发现之前的良好表现主要归因于偏见提示和外部环境的贡献。实体类型引导和正确答案泄露是知识预测的改进方向。这些发现揭示了 MLMs 的预测机制，同时质疑了现有 MLMs 可以作为可靠事实知识库的结论。
pre-trained masked language modelsknowledge extractionpredicting mechanismsentity type guidancegolden answer leakage
发现论文，激发创造
  • 无监督方式提升语言模型中的事实知识

    本研究提出一种影响掩蔽语言模型预训练的方法，使其在无监督的方式下优先选择有信息的词汇，实验证明此方法大大提高了预训练语言模型在诸如事实回忆、问题回答、情感分析和自然语言推理等知识密集型任务中的表现。

    Apr, 2023

  • MLMLM: 基于均值似然掩蔽语言模型的链接预测

    我们提出了 MLMLM（Mean Likelihood Masked Language Model）方法，通过比较不同实体生成的平均可能性来进行链路预测，以解决 KB 的可扩展性问题和 MLM 的可解释性问题，从而在 WN18RR 数据集上获得了 SotA 结果，并在 FB15k-237 数据集上获得了最佳非嵌入式结果。我们还对以前未见实体的链路预测获得了令人信服的结果，使 MLMLM 成为将新实体引入 KB 的合适方法。

    Sep, 2020

  • 语言模型作为知识库的综述

    本文回顾了最近关于使用预先训练的自然语言处理语言模型作为知识库的文献，提出了应该具备的一些方面，探讨了这种方法相较于传统知识库的优势在于无需人工监督进行的无监督学习。

    Apr, 2022

  • 语言模型作为知识库吗？

    通过对预训练语言模型的深入分析，我们发现未经微调的 BERT 模型竞争传统 NLP 方法的关系知识，可以根据开放式关系进行查询，某些类型的事实知识比标准语言模型预训练方法更容易学习，并可以作为无监督的开放式 QA 系统的潜力展现。

    Sep, 2019

  • 多语言 LAMA：探究多语言预训练语言模型中的知识

    翻译 TREx 和 GoogleRE 两项基准测试为 53 种语言，使用 mBERT 模型研究其作为多语言知识库的性能及影响因素，发现其性能因被查询的语言而异，同时使用多种语言的预测结果可提高性能。

    Feb, 2021

  • MLRIP：使用信息化事实知识和专业知识库预训练军事语言表示模型

    使用 MLRIP 改善了先前关于外部知识注入模型中的噪音和限制的问题，通过修改 ERNIE-Baidu 的知识蒙板策略和引入两阶段实体替换策略，实现了对输入句子中事实信息的最大挖掘，成功提高了军事领域的基于知识的 NLP 任务的效果。

    Jul, 2022

  • 口罩策略对语言模型知识记忆的影响

    本文的目标是建立对知识获取过程的更好理解。我们利用一系列预训练任务注入知识到模型中，并通过测量模型回答事实性问题的能力测试其知识保留能力。我们的实验表明，掩盖实体和基于逐点互信息的相关跨度的原则性掩盖方法可以更好地保留事实知识，而遮盖随机顺序的词标记会导致模型遗忘更多的事实知识。我们的发现表明，类似于执行任务的能力，通过训练执行其他任务时获取的（事实）知识也会被遗忘，该文提供了防止这种现象的方法。

    Jun, 2023

  • 探究预训练语言模型的词汇语义

    本研究针对 6 种不同语言和 5 种不同词汇任务，对单语和多语言源 LM、无上下文编码和有上下文编码、特殊标记的包含和分层平均等不同词汇知识提取策略的影响进行了系统的实证分析，并验证了较低变压器层携带更多类型级词汇知识的主张。

    Oct, 2020

  • DICT-MLM：使用双语词典的改进多语种预训练

    本文提出 DICT-MLM 方法以促进跨语言表示学习，分析表明该方法在多种涉及 30 多种语言的下游任务中表现出了更好的多语言表示能力。

    Oct, 2020

  • 遮蔽式神经语言模型为什么仍然需要常识知识？

    本文提出了对预训练 MNLM 的实证分析，观察到 MNLMs 在部分理解各种类型的常识知识的同时又不准确地理解了关系的语义含义，同时通过结合外部常识库的知识证明可以提高预训练 MNLM-based 模型的效能。

    Nov, 2019