EMNLPOct, 2021

大型语言模型中常识知识的系统调查

PDF
TL;DR本研究通过对大量数据进行训练的语言模型的零样本和少样本常识评估，旨在更好地理解这种模型学习常识知识的程度，结果显示预训练的语言模型在没有任务特定监督的情况下获取常识知识的能力受到了很大的限制。更大的模型或少量评估也无法达到人类常识水平。
发现论文，激发创造
  • Few-shot 知识模型中常识性的分析

    本研究验证了常识知识模型可以通过训练少量样例快速适应共现的常识知识表示能力，并发现有关该接口是如何学习的新见解。

    Jan, 2021

  • 基于知识驱动的数据构建在常识问答中的零样本评估

    本文提出了一种基于神经符号框架的零样本问题回答方法，利用预训练模型的外部知识资源，获得了在不同任务中的一致性提升，并且在任务结构保持的同时还生成了公平和信息丰富的问题，从而提高了语言模型的学习效果。

    Nov, 2020

  • 为预训练语言模型提供常识知识转移

    本研究提出一种通用预训练语言模型的常识知识转移框架，通过从神经常识知识模型中提取框架通用文本中的常识知识并利用两个自监督目标对模型进行改进，使其更好地传递到需要常识推理的下游任务中并取得显著改善。

    Jun, 2023

  • 使用语义级别精度和扩展词汇探究预训练语言模型中常识知识

    本研究探讨了如何在大型语言模型中丰富常识知识，并提出了一种基于 WordNet 的实化感知库对语言模型进行增强的方法，从而提高掩蔽式任务的预测精度。通过自我监督学习，在不进行进一步训练的情况下，实现了从 WordNet、WikiData 和 ConceptNet 中获取非平凡的常识知识，并比类似的基于相似性的方法更加有效。

    Oct, 2022

  • 为何神经语言模型在处理问题回答的语义变化时仍需要常识知识？

    本文通过使用诊断测试，揭示了预训练 MNLM 中包含的常识知识，并发现 MNLM 模型不能准确理解语义关系，还存在对需要常识知识的语义变化的脆弱性。此外，我们发现了某些知识未被训练的根本原因，并通过在受控实验中利用外部常识知识库来丰富文本的方法，提出了克服 MNLM 模型的局限性的可能性。

    Sep, 2022

  • 语言模型是否具备通用常识推理能力？

    本论文分析了预训练语言模型在常识知识图谱中的应用能力，重点探讨了预训练语言模型在多个常识知识图谱、未见过的关系和新实体方面的泛化能力及其局限性，结果表明预训练语言模型能够适应多个知识图谱但在泛化到新的关系时表现不佳，而在未出现过的实体上的泛化能力有所提高，未来的工作应该探究如何改进基于预训练语言模型的常识挖掘任务的传递和归纳能力。

    Jun, 2021

  • 教小型语言模型如何推广到未见过的组合问题

    我们在本文中提出了一种通过多任务监督预训练和密集检索系统的组合来实现对具有挑战性的复合问题的泛化的方法，并且展示了通过添加用于训练的检索增强数据集可以显著提高模型的性能。

    Aug, 2023

  • 大型语言模型是零样本推理器

    该研究发现预训练的大型语言模型可以成为良好的零样本推理器，提出了一种零样本的 CoT 方法，将其用于多种复杂的推理任务并取得了显著的性能提升。

    May, 2022

  • 预训练语言模型在常识知识推理和生成中的应用：综述

    本文调查了预先训练模型在常识推理和生成任务上的表现，探讨了最新研究的优劣势，并提出未来的研究方向。

    Jan, 2022

  • 自监督语言模型精炼实现零样本常识推理

    本文介绍一项利用自监督学习方法，通过语言模型的微调以及语言扰动来提高零样本常识推理方式的概念表达能力，并在多项基准测试中证明可行性的初步研究。

    Sep, 2021