IJCAIMay, 2020

TransOMCS: 从语言图到常识知识

PDF
TL;DR本文探讨了从语言图中挖掘常识知识的实用方法，将由语言模式获得的便宜知识转化为昂贵的常识知识，转换为与 ConceptNet 相同的表示方式的 TransOMCS 资源，并证明了语言知识对常识知识的可转移性和提出的方法在数量、新颖性和质量方面的有效性。
commonsense knowledge acquisitionmining commonsense knowledgelinguistic graphstransomcsselectional preference knowledge resource
发现论文，激发创造
  • COMET: 用于自动知识图谱构建的常识 Transformer

    我们提出了 COMET，一种生成通用语言的丰富多样的常识知识描述的模型，并在 ATOMIC 和 ConceptNet 这两个通用常识图的自动知识库构建方面取得了优秀的结果。

    Jun, 2019

  • DISCOS: 架桥于话语知识与常识知识之间

    本文提出了一种基于 DISCOS 算法的常识知识获取框架，能够将更昂贵的复杂常识知识自动转化为更可承担的语言知识资源，以此来获取大规模常识推理知识。此方法在 novelty 和 diversity 方面表现优越，拥有着与监督学习方法相当的质量。

    Jan, 2021

  • 通过常识知识的提取和注入进行词汇限制的文本生成

    本论文中，我们探讨如何运用常识知识图谱提高条件文本生成模型的综合性能，通过从 Conceptnet 中提取常识关系，将这些关系注入到 Unified Language Model (UniLM) 中，并通过输出约束强制实施词汇要求，以提高生成文本的语义正确性和符合人类理解，从而实现了匹配词性和完全概念覆盖的要求。

    Dec, 2020

  • 常识知识的整合

    通过对常识知识源进行调查，本文提出了构建通识知识图谱的原则、表示模型，将七个独立的常识知识源整合到了第一版集成的通识知识图谱中，并分析了它在四个问答数据集上的应用统计结果和所得到的经验教训。

    Jun, 2020

  • 常识还是世界知识？研究基于 Adapter 的预训练 transformer 知识注入

    本文介绍了通过适配器训练在 BERT 的分布式知识基础上，将 ConceptNet 和其对应的 OMCS 语料库的概念知识注入到语言模型中以提高推理性能的方法。实验结果表明，适配器训练得到的模型在需要 ConceptNet 和 OMCS 所代表的概念知识进行推理的任务中表现显著优于 BERT。

    May, 2020

  • 通过概念化获取和建模抽象常识知识

    通过使用抽象概念的方法，建立了一个可适用于人类常识推理的抽象通识知识图谱，并通过基于语言特征的启发式规则和神经模型计算与验证其抽象知识的有效性。

    Jun, 2022

  • 探索大型语言模型作为机器人的常识知识来源

    本研究使用大型语言模型（LLMs）研究了服务机器人需要常识知识帮助人类在日常情境中，以便他们理解其行为的上下文。实验揭示了在选择性提取情境行动知识方面的有限效果，表明单独使用 LLMs 可能不足够。然而，大规模提取一般性、可行性知识显示出潜力，表明 LLMs 可以成为有效创建机器人本体论的工具。该论文展示了知识提取技术可以应用于填充极简本体论，展示了 LLMs 与形式化知识表示的潜在合作能力。

    Oct, 2023

  • 符号知识蒸馏：从通用语言模型到常识模型

    研究一个新的框架，基于 Symbolic Knowledge Distillation，使用通用语言模型自动化地从 ATOMIC 资源中筛选高质量因果常识，并创造一种新的常识模型，其大小只有原始模型的 1/100，但功能优于其老师模型。

    Oct, 2021

  • 在预训练模型中加入常识知识图谱以进行社交常识任务

    该研究提出了两种方法，通过外部常识知识图谱，隐式或显式地融入到预先训练好的自然语言处理模型中，以提高社交智能，这种方法对社交常识推理任务 SocialIQA 的表现在有限和完整的训练数据制度下都表现出良好的效果。

    May, 2021

  • 为预训练语言模型提供常识知识转移

    本研究提出一种通用预训练语言模型的常识知识转移框架，通过从神经常识知识模型中提取框架通用文本中的常识知识并利用两个自监督目标对模型进行改进，使其更好地传递到需要常识推理的下游任务中并取得显著改善。

    Jun, 2023