Sep, 2020

MLMLM: 基于均值似然掩蔽语言模型的链接预测

PDF
TL;DR我们提出了 MLMLM（Mean Likelihood Masked Language Model）方法，通过比较不同实体生成的平均可能性来进行链路预测，以解决 KB 的可扩展性问题和 MLM 的可解释性问题，从而在 WN18RR 数据集上获得了 SotA 结果，并在 FB15k-237 数据集上获得了最佳非嵌入式结果。我们还对以前未见实体的链路预测获得了令人信服的结果，使 MLMLM 成为将新实体引入 KB 的合适方法。
knowledge basesmasked language modelslink predictionscalabilityinterpretability
发现论文，激发创造
  • 知识性还是教育性猜测？重新审视语言模型作为知识库

    本文对预训练掩码语言模型（MLMs）在不同抽取范式下的预测机制进行了研究，发现之前的良好表现主要归因于偏见提示和外部环境的贡献。实体类型引导和正确答案泄露是知识预测的改进方向。这些发现揭示了 MLMs 的预测机制，同时质疑了现有 MLMs 可以作为可靠事实知识库的结论。

    Jun, 2021

  • 知识图谱大规模语言模型（KG-LLM）用于链接预测

    通过使用链式思维促进和上下文学习，该研究介绍了一种新方法，即知识图大型语言模型框架（KG-LLM），以提高知识图中多跳链接预测的效果。实验证明，集成上下文学习和链式思维不仅增加了方法的性能，而且显著提高了模型的泛化能力，从而在陌生情境中实现更准确的预测。

    Mar, 2024

  • 视觉语言领域数据效率掩码语言建模

    本文研究在跨模态预训练中使用遮蔽语言建模（Masked Language Modeling，简称 MLM）的一些问题，提出了一些针对这些问题的替代遮蔽策略，在 LXMERT 模型预训练时，我们的替代策略始终优于原始遮蔽策略，特别是在低资源设置下，我们的预训练方法显著优于基准模型，并且通过对影像对象的特定标记任务的评估，我们的结果和分析表明，该方法允许更好地利用训练数据。

    Sep, 2021

  • 无监督方式提升语言模型中的事实知识

    本研究提出一种影响掩蔽语言模型预训练的方法，使其在无监督的方式下优先选择有信息的词汇，实验证明此方法大大提高了预训练语言模型在诸如事实回忆、问题回答、情感分析和自然语言推理等知识密集型任务中的表现。

    Apr, 2023

  • 长尾实体的知识库补全

    本文提出了一种基于语言模型的知识库完成方法，针对长尾实体的事实，该方法利用两个不同的语言模型进行候选检索和候选验证和消歧，通过评估我们的方法和不同的基线，引入一个名为 MALT 的基于 Wikidata 的数据集，我们的方法在 F1 中优于所有基线，尤其是在召回率方面有很大提升。

    Jun, 2023

  • 快速、高效且自监督：将掩码语言模型转化为通用词汇和句子编码器

    本论文提出了一种名为 Mirror-BERT 的极为简单、快速和有效的对比学习技术，它能在 20-30 秒内将预训练的 MLMs（如 BERT 和 RoBERTa）转变为有效的通用词汇和句子编码器，而无需任何附加的数据和监督，并取得了巨大的成功。

    Apr, 2021

  • 掩蔽语言模型的归纳偏好：从统计学到句法依赖

    研究预训练语言模型如何通过无监督学习中的遮盖和预测标记产生语言结构和改进下游性能；理论认为，预训练语言模型通过遮盖具有暗示下游任务的填空作用，获得有用的归纳偏见。本文构建了类似填空的掩码，并用于三个不同的分类数据集，证明了预训练模型的绝大部分性能提升来自没有与词典关联的通用掩码；我们演示了掩码语言模型（MLM）目标与学习图形模型中的统计依赖的现有方法之间的对应关系，并利用这一点派生出一种提取该模型中学习到的统计依赖的方法，这些依赖以句法结构的形式编码。通过对暗示的统计依赖结构进行最小生成树的无监督解析评估，在无监督解析方面，简单地形成最小生成树优于经典的无监督解析方法（58.74 vs. 55.91 UUAS）

    Apr, 2021

  • 语言模型作为知识嵌入

    该论文提出了一种基于对比学习的 LMKE 方法，采用语言模型从文本信息中推导出知识嵌入，旨在丰富长尾实体的表征，并解决以前的基于描述的方法的问题，实验结果表明 LMKE 在知识嵌入基准测试中特别是长尾实体上取得了最先进的性能.

    Jun, 2022

  • 探索文本生成的屏蔽语言建模和因果语言建模

    这篇论文比较了掩码语言模型和因果语言模型在文本生成任务上的表现，发现掩码语言模型在生成文本时具有更好的质量和连贯性，并且对下游任务的性能没有明显影响，从而显示了掩码语言模型在文本生成方面具有巨大的潜力并指导了未来研究的方向。

    May, 2024

  • 有条件掩码语言模型的通用句子表示学习

    本文介绍了一种名为条件遮蔽语言建模（CMLM）的新型训练方法，用于在大规模未标记的语料库上有效地学习句子表示。CMLM 通过在编码相邻句子的向量上进行条件处理，将句子表示学习整合到 MLM 训练中。我们的英语 CMLM 模型在 SentEval 上取得了最先进的性能，并且胜过使用监督信号学习的模型。作为完全无监督的学习方法，CMLM 可以方便地扩展到广泛的语言和领域。我们发现，与位文检索（BR）和自然语言推断（NLI）任务共同训练的多语言 CMLM 模型在跨语言语义搜索等方面比以前最先进的多语言模型的基准模型有了很大的提高，例如改进了基准模型 10％。我们探索了学习表示的相同语言偏见，并提出了一种简单的，基于模型的方法来从表示中删除识别语言的信息，同时仍保留句子语义。

    Dec, 2020