多模态知识图谱完成的多层级融合混合变压器
我们提出了图结构引导的多模态预训练变换器（SGMPT）用于知识图谱推理，它采用图结构编码器来进行结构特征编码，并采用加权求和和对齐约束两种不同策略的结构引导融合模块，将结构信息注入文本和视觉特征，实验证明了 SGMPT 在多模态 KGR 方面的效果优于现有的最先进模型。
Jul, 2023
多模态知识图谱补全 (MMKGC) 旨在通过协同建模大量三元组中隐藏的结构信息和实体的多模态特征，自动发现给定的多模态知识图谱中的新知识三元组。我们引入了一种新颖的 MMKGC 框架，即混合模态知识专家 (MoMoK)，来学习在复杂关系环境下自适应的多模态嵌入。通过设计关系指导的模态知识专家来获取关系感知的模态嵌入，并整合多模态的预测结果以实现全面的决策。此外，通过最小化它们的互信息来解开这些专家之间的联系。在四个公开的 MMKG 基准上的实验证明了 MoMoK 在复杂情境下的出色性能。
May, 2024
通过提出一种基于 Transformer 架构的 SNAG 方法，结合多模态实体特征在知识图谱中进行鲁棒的集成，本研究在多模态预训练的基础上，展示了在多模态知识图谱完成和多模态实体对齐两个任务中的领先性能，同时还具有增强其他现有方法的稳定性和性能改进的功能。
Mar, 2024
本研究提出了一种名为 MMKGR 的新型模型，其中包含一种统一的门 - 关注网络和一种补充特征感知的强化学习方法，通过有效的多模态补充特征和多次迭代推理，能够更好地实现知识图谱方面的任务，与现有方法相比推理性能更好。
Sep, 2022
提出了一种利用多模态知识图 (MMKGs) 进行多模态推理的方法 (MR-MKG)，通过利用多模态知识图 (MMKGs) 跨模态地学习丰富的语义知识，显著提高了大型语言模型 (LLMs) 在多模态推理中的能力。通过在仅使用 LLM 参数的 2.25% 进行训练，MR-MKG 在多模态问答和多模态类比推理任务上取得了优越的性能，胜过了之前的最新模型。
Jun, 2024
本论文提出了一种新型的基于图的多模态融合编码器，用于多模态神经机器翻译（NMT）中利用不同模态语义单元之间的细粒度语义对应关系，以优化多模态表示学习，并在 Multi30K 数据集上验证了模型的卓越性能。
Jul, 2020
本文介绍了一个基于查询的多模态知识库完成系统，其通过融合非结构化和结构化信息的多模态知识图，提出了一种多模态路径融合算法来排列候选答案，并利用查询驱动技术提高了系统效率，以证明该系统的高效性和有效性。
Dec, 2022
提出了一个基于 VisualBERT 的增强型知识图谱补全模型 (VBKGC)，其采用了双胞胎负采样策略，能够捕捉基于嵌入的多模态信息并将其集成到 KGC 模型中，具有优秀的链路预测任务表现。
Sep, 2022
本文提出了一种联合完成和对齐知识图谱的模型，使用关系感知图神经网络编码多跳邻域结构，并利用结构不一致性降低机制将完成信息融入对齐组件，采用对齐种子扩展和三元组转移机制，实验结果表明该模型在多语言知识图谱对齐和完成任务上取得了最佳结果。
Oct, 2022
本文提出一种多模态图变换器，它利用了文本和视觉数据的多模态信息，并通过结构化学习和图神经网络的方法对自注意力进行约束以提高推理能力，适用于需要跨多个模态执行推理的问题回答任务。我们通过在 GQA，VQAv2 和 MultiModalQA 数据集上进行实验来验证这种方法的有效性，表明多模态图变换器优于 Transformer 模型基线。
Apr, 2023