Sep, 2019

一种基于预备知识库的常识推理教授预训练模型的初步方法

PDF
TL;DR通过利用 ConceptNet 中的结构化知识，构造逻辑形式并生成常识性逻辑推理的多项选择题进行训练，我们提出了一种简单而有效的方法来教授预训练模型常识性推理，实验结果表明，这种训练可以使预训练模型在需要常识性推理的任务上表现稳定提升，特别是在少样本学习设置下。
pretrained language modelscommonsense reasoningconceptnetlogical formsfew-shot learning
发现论文，激发创造
  • 在预训练模型中加入常识知识图谱以进行社交常识任务

    该研究提出了两种方法，通过外部常识知识图谱，隐式或显式地融入到预先训练好的自然语言处理模型中，以提高社交智能，这种方法对社交常识推理任务 SocialIQA 的表现在有限和完整的训练数据制度下都表现出良好的效果。

    May, 2021

  • 预训练语言模型在常识知识推理和生成中的应用：综述

    本文调查了预先训练模型在常识推理和生成任务上的表现，探讨了最新研究的优劣势，并提出未来的研究方向。

    Jan, 2022

  • 基于常识预训练的问答系统改进

    本文提供一种有效的方法，通过使用外部的常识知识库，例如 ConceptNet，来预训练直接和间接的概念相关函数，并将其添加到现有的神经网络模型中，以提高基于常识推理的三个问答任务的基础结果。结果表明，我们的系统能够发现和利用外部常识知识库中有用的证据，这对于导出正确答案很有帮助。

    Sep, 2018

  • 为预训练语言模型提供常识知识转移

    本研究提出一种通用预训练语言模型的常识知识转移框架，通过从神经常识知识模型中提取框架通用文本中的常识知识并利用两个自监督目标对模型进行改进，使其更好地传递到需要常识推理的下游任务中并取得显著改善。

    Jun, 2023

  • 常识推理的简单方法

    本文提出一种使用无监督学习、基于语言模型的神经网络常识推理的简单方法，通过对大量未标记数据的训练，优化单选题的得分，获得了很好的测试成绩，没有使用昂贵的注释知识库或手工特征工程。

    Jun, 2018

  • 预训练模型中的常识知识挖掘

    使用预训练的双向语言模型将关系三元组转换为掩码句子，通过估计点间互信息来排名三元组的有效性，从而开发了一种生成常识知识的方法。该方法在新源中挖掘常识知识时优于显式训练的模型，说明无监督技术比目前的有监督方法更具推广性。

    Sep, 2019

  • 推动 Transformer 在常识推理中的能力

    介绍了如何利用当前的机器学习方法，通过知识迁移、模型集成和引入配对对比目标等方法，改进通用预训练语言模型在常识推理任务中，取得超过 15％的配对准确度和超过 8.7％的标准准确度的绝对增益。

    Oct, 2023

  • 面向对话 AI 的常识推理：现有技术综述

    本论文调查了最近关于常识推理的谈话人工智能研究，列出了相关的训练数据集，并描述了在谈话人工智能中包含常识的主要方法，讨论了用于评估谈话人工智能中常识的基准，最后对两个最先进的开放对话模型 BlenderBot3 和 LaMDA 的常识能力进行了初步观察，并对自然交互产生了负面影响，进一步激发了关于常识推理在谈话人工智能中的研究。

    Feb, 2023

  • 评估预训练语言模型中的常识

    本研究考察了 GPT、BERT、XLNet 和 RoBERTa 等四个基于预训练语言模型的通感知能力，通过在七个具有挑战性的基准测试中测试他们，在促进模型通感知能力方面，语言建模及其变体是有效的目标，而双向上下文和更大的训练集是额外的加分项。此外，我们发现目前的模型在需要更多必要推理步骤的任务上表现不佳。最后，我们通过制作相关的双重测试用例来测试模型的鲁棒性。有趣的是，模型在这些测试用例上表现混乱，这表明它们只是在表面上学习通感知而不是深层次的知识。我们公开了一个名为 CATs 的测试集，以供未来的研究使用。

    Nov, 2019

  • KagNet: 基于知识的图网络用于常识推理

    该研究提出了一种基于知识图谱的语义推理框架，以解决常识性问题，并通过引入 KagNet 模型和 ConceptNet 外部资源，取得了在常识 QA 数据集上的最佳表现。

    Sep, 2019