Dec, 2023

NovaCOMET: 具有符号知识精华的开放常识基础模型

PDF
TL;DRNovaCOMET 提供了一个开放的常识知识模型，结合了知识和一般任务模型的最佳方面。与以前的知识模型相比，NovaCOMET 允许开放格式关系，可直接应用于推理任务；与 Flan-T5 等一般任务模型相比，它明确地聚焦于知识，从而实现了卓越的常识推理性能。
发现论文，激发创造
  • COMET: 用于自动知识图谱构建的常识 Transformer

    我们提出了 COMET，一种生成通用语言的丰富多样的常识知识描述的模型，并在 ATOMIC 和 ConceptNet 这两个通用常识图的自动知识库构建方面取得了优秀的结果。

    Jun, 2019

  • DiffuCOMET：上下文常识知识扩散

    利用扩散学习重建叙事背景和相关常识之间的内在语义联系，我们开发了一系列以 DiffuCOMET 为基础的知识模型，为推断上下文相关和多样性常识提供了一种解决方案。我们的方法逐步优化了与叙事相关的常识事实表示，产生了与输入上下文相关且多样化的常识推论。在 ComFact 和 WebNLG + 两个基准测试上的结果表明，DiffuCOMET 产生的常识在常识多样性、上下文相关性和与已知参考文献的一致性方面的平衡优于基准知识模型。

    Feb, 2024

  • 关于符号和神经常识知识图谱的 COMET-ATOMIC 2020

    本文提出一个新的评估框架，以测试知识图谱的效用，该框架基于从中可以从中学习隐式知识表征的效果。基于这个新目标，我们提出了一个新的通用常识知识图谱 ATOMIC 2020，其中包含预训练语言模型中不易获得的知识，并用其他主要的常识知识资源进行比较。通过人类评估，我们显示出基于 ATOMIC 2020 训练的知识模型的少数情况下的表现比 GPT-3（175 亿个参数）使用 430 倍少的参数。

    Oct, 2020

  • 带有循环记忆的段落级通识理解 Transformer

    我们提出了一种任务，即基于语篇的通识推理，在保持与叙述其余部分的一致性的同时，在预定义的维度上生成常识推断。使用可用的句级注释，我们有效且自动地构建了一个远程监督语料库，使用该语料库，我们训练了 PARA-COMET，这是一种基于语篇的模型，它捕获关于先前世界知识的语义知识和涉及如何将当前事件与叙述中先前和未来事件相关联的情节知识。我们的结果表明，PARA-COMET 在生成既连贯又新颖的推断方面优于句级基准。

    Oct, 2020

  • 少样本学习的概念学习器

    COMET 是一种元学习方法，通过学习沿着可解释的人类概念维度的模式知识，从而改进泛化能力，而不是学习一个联合的无结构度量空间。在各种领域中的少样本任务中，COMET 的表现优于强元学习基线，且提供模型预测背后的解释。

    Jul, 2020

  • 符号知识蒸馏：从通用语言模型到常识模型

    研究一个新的框架，基于 Symbolic Knowledge Distillation，使用通用语言模型自动化地从 ATOMIC 资源中筛选高质量因果常识，并创造一种新的常识模型，其大小只有原始模型的 1/100，但功能优于其老师模型。

    Oct, 2021

  • DISCOS: 架桥于话语知识与常识知识之间

    本文提出了一种基于 DISCOS 算法的常识知识获取框架，能够将更昂贵的复杂常识知识自动转化为更可承担的语言知识资源，以此来获取大规模常识推理知识。此方法在 novelty 和 diversity 方面表现优越，拥有着与监督学习方法相当的质量。

    Jan, 2021

  • GD-COMET：一种地理多样化常识推理模型

    通过人类评估和地理多样性任务的外在评估，我们展示了 GD-COMET 的有效性，证明其具有捕捉和生成跟文化相关的常识知识的潜力，从而有望在 NLP 应用中产生广泛影响，并有助于使 NLP 更加包容。

    Oct, 2023

  • VLC-BERT：上下文化通识知识视觉问答

    本研究提出了 VLC-BERT 模型，该模型针对需要常识推理的视觉问答任务，通过使用预训练的 Commonsense Transformer（COMET）模型产生、选择和编码外部常识知识，结合视觉和文本线索，超越了使用静态知识库的现有模型.

    Oct, 2022

  • 常识还是世界知识？研究基于 Adapter 的预训练 transformer 知识注入

    本文介绍了通过适配器训练在 BERT 的分布式知识基础上，将 ConceptNet 和其对应的 OMCS 语料库的概念知识注入到语言模型中以提高推理性能的方法。实验结果表明，适配器训练得到的模型在需要 ConceptNet 和 OMCS 所代表的概念知识进行推理的任务中表现显著优于 BERT。

    May, 2020