ICLROct, 2022

基于知识图谱的多模态类比推理

PDF
TL;DR本研究介绍了基于知识图谱的多模式类比推理任务，并通过构建 Multimodal Analogical Reasoning 数据集和 Multimodal knowledge graph MarKG 进行评估。研究表明，从多模态源获取信息可以带来比单模态源更强大的认知转移，该研究进一步提出了一种基于结构映射理论的新型通用 Transformer 框架（MarT），能够取得更好的性能。
analogical reasoningmultimodal sourcesknowledge graphscognitive transfertransformer
发现论文，激发创造
  • 多模态知识图谱下的多模态推理

    提出了一种利用多模态知识图 (MMKGs) 进行多模态推理的方法 (MR-MKG)，通过利用多模态知识图 (MMKGs) 跨模态地学习丰富的语义知识，显著提高了大型语言模型 (LLMs) 在多模态推理中的能力。通过在仅使用 LLM 参数的 2.25% 进行训练，MR-MKG 在多模态问答和多模态类比推理任务上取得了优越的性能，胜过了之前的最新模型。

    Jun, 2024

  • ANALOGYKB：使用百万级知识库开启语言模型的类比推理

    提出了一个基于知识图谱的百万级类比知识库 ANALOGYKB，能够发现两种类型的类比，成功地让模型在类比推理任务中超越了之前最先进的方法。

    May, 2023

  • 知识图谱上的元推理

    本文研究了在元学习范式下，少样本知识图谱推理的挑战和实际问题。提出了一种新的元学习框架，有效利用了本地图邻居和知识图谱中的推理路径等任务特定元信息。在两种少样本知识库补全基准测试中，我们展示了增强的任务特定元编码器比 MAML 更好，优于几个少样本学习基线模型。

    Aug, 2019

  • MMKGR: 多跳多模态知识图谱推理

    本研究提出了一种名为 MMKGR 的新型模型，其中包含一种统一的门 - 关注网络和一种补充特征感知的强化学习方法，通过有效的多模态补充特征和多次迭代推理，能够更好地实现知识图谱方面的任务，与现有方法相比推理性能更好。

    Sep, 2022

  • DeepGAR: 深度图学习用于类比推理

    本文提出的基于深度学习的类比推理框架 DeepGAR 可以在满足认知理论驱动的约束条件下，通过设计几何约束嵌入空间诱导节点嵌入的子图关系以进行有效的子图搜索，并通过开发新的学习和优化策略来端到端地识别与认知理论驱动的约束条件严格一致的对应物，从而超越现有的方法。

    Nov, 2022

  • ARN：故事类修辞推理的综合框架和数据集

    通过将认知心理学中的类比推理理论在叙述上进行计算适应，我们提出了类比叙事（ARN）数据集和一个大规模的评估框架，研究了不同抽象程度的类比、不类比之间的匹配。研究结果表明，当较高级别的映射缺乏较低级别的映射时（远类比），大语言模型难以识别；而当所有映射同时存在时（近类比），大语言模型的性能得到改善。我们观察到，在所有的设置中，大语言模型的类比推理能力容易受到与查询叙事形成较低级别映射的近干扰的影响。

    Oct, 2023

  • 基于结构导向的多模态预训练变压器用于知识图谱推理

    我们提出了图结构引导的多模态预训练变换器（SGMPT）用于知识图谱推理，它采用图结构编码器来进行结构特征编码，并采用加权求和和对齐约束两种不同策略的结构引导融合模块，将结构信息注入文本和视觉特征，实验证明了 SGMPT 在多模态 KGR 方面的效果优于现有的最先进模型。

    Jul, 2023

  • 多模态知识图谱构建和应用：综述

    该研究论文介绍了多模态知识图谱，探讨了构建及应用过程中的挑战和进步，并分析了不同解决方案的优缺点及与 MMKG 相关的未解决研究问题。

    Feb, 2022

  • 按能力而非得到的结果行事：基于拓扑结构的多模态知识图谱多跳推理

    本文提出了一种拓扑感知的、适用于归纳和推理环境下的多模态知识图谱推理方法 TMR，该方法主要由任务感知归纳表示和关系增强自适应强化学习两个组件构成，并在不同规模的归纳推理数据集上进行了评估。实验表明，TMR 在归纳和推理环境下均优于现有的多模态知识图谱推理方法。

    Jun, 2023

  • 知识图谱推理在图类型上的调查：静态、动态和多模态

    该研究论文为知识图谱推理提供了一种静态模型，其目的是在知识图谱上推出新的事实，概述了静态、时间性和多模态 KGR 模型的检测，探讨了相应的数据集和挑战。

    Dec, 2022