Jun, 2023

雪人：从基础模型中提炼出的百万级中文常识知识图谱

PDF
TL;DR利用 ChatGPT 与基础模型构造一个名为 Snowman 的中文常识知识图谱，其中大约包括了一千万个中国常识三元组，是目前最大的中文常识知识图谱之一，并具有较高的人类认可度。
commonsense knowledge graphschinese ckgfoundation modelschatgptsnowman
发现论文，激发创造
  • C3KG: 一个中文常识对话知识图谱

    本研究针对现有常识知识库的不足，提出了一种基于多轮对话语料库构建的中文常识对话知识图谱，该图谱包含社交常识知识和对话流信息，并开发了图谱 - 对话匹配方法，以此来评估信心图所具有的潜在能力。

    Apr, 2022

  • 符号知识蒸馏：从通用语言模型到常识模型

    研究一个新的框架，基于 Symbolic Knowledge Distillation，使用通用语言模型自动化地从 ATOMIC 资源中筛选高质量因果常识，并创造一种新的常识模型，其大小只有原始模型的 1/100，但功能优于其老师模型。

    Oct, 2021

  • 预训练模型中的常识知识挖掘

    使用预训练的双向语言模型将关系三元组转换为掩码句子，通过估计点间互信息来排名三元组的有效性，从而开发了一种生成常识知识的方法。该方法在新源中挖掘常识知识时优于显式训练的模型，说明无监督技术比目前的有监督方法更具推广性。

    Sep, 2019

  • 伟大的真理总是简单的：一种相当简单的知识编码器，用于增强预训练模型的常识推理能力

    本文研究了如何通过增强预训练语言模型的知识感知图神经网络编码器来解决复杂的常识推理任务，并发现这种方法中的关系特征是主要的贡献因素。通过基于统计关系路径获取的特征设计一个简单的 MLP-based 知识编码器，不仅提高了 PTMs 的性能，而且还大大减少了编码 CSKGs 的参数。

    May, 2022

  • 知识图谱增强的韩语生成式常识推理

    本文提出一种利用韩语知识图谱数据进行文本生成的方法，并强调使用补充数据可以增强韩语通识推理的效率。

    Jun, 2023

  • 在预训练模型中加入常识知识图谱以进行社交常识任务

    该研究提出了两种方法，通过外部常识知识图谱，隐式或显式地融入到预先训练好的自然语言处理模型中，以提高社交智能，这种方法对社交常识推理任务 SocialIQA 的表现在有限和完整的训练数据制度下都表现出良好的效果。

    May, 2021

  • 一种增强的常识生成知识注入模型

    利用外部知识概念辅助 CommonSense 生成，通过原型建模和知识注入方法显著提高了性能。

    Dec, 2020

  • 基于知识增强的通识常识故事生成预训练模型

    本文针对故事生成中存在的重复、逻辑冲突和长距离一致性缺乏等问题，提出了一种基于知识增强预训练模型的通用故事生成方法。通过利用外部知识库中的常识知识来生成合理的故事，并采用多任务学习的方法来捕捉合理故事中句子之间的因果关系和时间依赖关系，从而在逻辑和整体一致性方面比其他最先进的模型有更好的表现。

    Jan, 2020

  • 超越英语的常识：评估和改进多语言常识推理语言模型

    为了促进通识推理（CSR）的进一步发展，作者提出了用于评估和改进流行的多语言语言模型（ML-LMs）的方法，其中包括收集 Mickey 语料库、提出综合的评估方法和介绍多语言对比预训练（MCP）的有效性。作者还创建了两个新数据集，X-CSQA 和 X-CODAH，以评估流行的 ML-LMs 用于跨语言通识推理的能力。

    Jun, 2021

  • I2D2: 用神经逻辑和自我模仿进行归纳式知识蒸馏

    本文研究使用新型的常识提取算法来提升较小的语言模型的常识能力，通过符号知识的传递和自我仿真学习，提出了 I2D2 框架并在生成泛化性句子方面进行实证研究，结果表明规模不是影响模型能力的唯一因素，新的算法是可行的。

    Dec, 2022