Oct, 2021

符号知识蒸馏：从通用语言模型到常识模型

PDF
TL;DR研究一个新的框架，基于 Symbolic Knowledge Distillation，使用通用语言模型自动化地从 ATOMIC 资源中筛选高质量因果常识，并创造一种新的常识模型，其大小只有原始模型的 1/100，但功能优于其老师模型。
发现论文，激发创造
  • I2D2: 用神经逻辑和自我模仿进行归纳式知识蒸馏

    本文研究使用新型的常识提取算法来提升较小的语言模型的常识能力，通过符号知识的传递和自我仿真学习，提出了 I2D2 框架并在生成泛化性句子方面进行实证研究，结果表明规模不是影响模型能力的唯一因素，新的算法是可行的。

    Dec, 2022

  • 为预训练语言模型提供常识知识转移

    本研究提出一种通用预训练语言模型的常识知识转移框架，通过从神经常识知识模型中提取框架通用文本中的常识知识并利用两个自监督目标对模型进行改进，使其更好地传递到需要常识推理的下游任务中并取得显著改善。

    Jun, 2023

  • 通过常识知识的提取和注入进行词汇限制的文本生成

    本论文中，我们探讨如何运用常识知识图谱提高条件文本生成模型的综合性能，通过从 Conceptnet 中提取常识关系，将这些关系注入到 Unified Language Model (UniLM) 中，并通过输出约束强制实施词汇要求，以提高生成文本的语义正确性和符合人类理解，从而实现了匹配词性和完全概念覆盖的要求。

    Dec, 2020

  • 在预训练模型中加入常识知识图谱以进行社交常识任务

    该研究提出了两种方法，通过外部常识知识图谱，隐式或显式地融入到预先训练好的自然语言处理模型中，以提高社交智能，这种方法对社交常识推理任务 SocialIQA 的表现在有限和完整的训练数据制度下都表现出良好的效果。

    May, 2021

  • 预训练模型中的常识知识挖掘

    使用预训练的双向语言模型将关系三元组转换为掩码句子，通过估计点间互信息来排名三元组的有效性，从而开发了一种生成常识知识的方法。该方法在新源中挖掘常识知识时优于显式训练的模型，说明无监督技术比目前的有监督方法更具推广性。

    Sep, 2019

  • Few-shot 知识模型中常识性的分析

    本研究验证了常识知识模型可以通过训练少量样例快速适应共现的常识知识表示能力，并发现有关该接口是如何学习的新见解。

    Jan, 2021

  • 通过知识选择改进预训练语言模型的知识蒸馏

    本文提出了一种基于演员 - 评论家方法的知识蒸馏框架，旨在从教师模型中选择适当的知识来训练学生模型，实验结果表明该方法在 GLUE 数据集上优于常规基线模型。

    Feb, 2023

  • 本地化符号化知识蒸馏用于视觉常识模型

    使用局部可见的常识模型来训练视觉 - 语言模型以支持图像内部推理。

    Dec, 2023

  • 基于知识增强的通识常识故事生成预训练模型

    本文针对故事生成中存在的重复、逻辑冲突和长距离一致性缺乏等问题，提出了一种基于知识增强预训练模型的通用故事生成方法。通过利用外部知识库中的常识知识来生成合理的故事，并采用多任务学习的方法来捕捉合理故事中句子之间的因果关系和时间依赖关系，从而在逻辑和整体一致性方面比其他最先进的模型有更好的表现。

    Jan, 2020

  • 通用的神经符号系统用于常识问答

    介绍了如何使用适合的神经符号模型来实现领域泛化和下游任务的鲁棒性，讨论了整合神经语言模型和知识图谱的不同方法，并对各种常识问答基准数据集进行了定量评估和定性错误分析。

    Jan, 2022