multimodal knowledge graphs | BriefGPT

关键词multimodal knowledge graphs

搜索结果 - 4

多模态知识图谱下的多模态推理
提出了一种利用多模态知识图 (MMKGs) 进行多模态推理的方法 (MR-MKG)，通过利用多模态知识图 (MMKGs) 跨模态地学习丰富的语义知识，显著提高了大型语言模型 (LLMs) 在多模态推理中的能力。通过在仅使用 LLM 参数的
PDFa month ago
基于结构导向的多模态预训练变压器用于知识图谱推理
我们提出了图结构引导的多模态预训练变换器（SGMPT）用于知识图谱推理，它采用图结构编码器来进行结构特征编码，并采用加权求和和对齐约束两种不同策略的结构引导融合模块，将结构信息注入文本和视觉特征，实验证明了 SGMPT 在多模态 KGR 方
PDFa year ago
SIGIR多模态知识图谱完成的多层级融合混合变压器
本文提出了一种具有多级融合和混合变压器结构的 Multimodal Knowledge Graphs，用于解决多模态知识图谱完成任务中的问题，并在四个数据集上取得了 SOTA 性能。
PDF2 years ago
深度学习的双重身体符号概念表征
该研究提出使用双层模型进行概念表示，同时提出了具体化概念表示和符号化概念表示，并倡导了在深度学习中使用两者结合的方法，论述了双具体化 - 符号化概念表示的用途和价值，包括知识蒸馏和图像文本匹配，并讨论了两种重要的符号 AI 整合方式：场景图
PDF2 years ago