Jun, 2024

照亮阴影：用概念引导的视觉语言模型增强长尾实体引地

PDF
TL;DRMulti-Modal Knowledge Graphs (MMKGs) have proven valuable for various downstream tasks. To address the challenge of building large-scale MMKGs with mismatched images, this paper introduces COG, a framework that enhances vision-language models with concept guidance, effectively identifying image-text pairs of long-tailed entities and offering flexibility and explainability.
发现论文，激发创造
  • 基于大语言模型的通用实体链接

    我们提出了一种新的方法来从长描述中密集地连接视觉实体，利用大型多模态模型提取语义名词，利用无类别分割模型生成实体级分割，采用多模态特征融合模块将每个语义名词与其对应的分割蒙版关联。此方法利用颜色映射对实体分割蒙版进行编码，使得细粒度预测能够保留高分辨率蒙版的特征。该方法使用 LMM 中的 CLIP 视觉编码器从低分辨率图像中提取视觉特征，比使用额外编码器处理高分辨率图像的现有方法在计算上更高效。我们的全面实验表明，我们的方法卓越于三个任务，包括全景叙事连接、指称表达分割和全景分割。

    Feb, 2024

  • CogMG：大型语言模型与知识图谱之间的协同增强

    使用协作增强框架 CogMG，结合知识图谱解决了大型语言模型在问答场景中的不完整知识覆盖和知识更新不匹配的问题，并通过监督微调的 LLM 在一个代理框架中展示了在减少幻觉和提高答案的事实准确性方面取得的显著改进。

    Jun, 2024

  • 噪声的威力：朝着统一的多模态知识图表示框架

    通过提出一种基于 Transformer 架构的 SNAG 方法，结合多模态实体特征在知识图谱中进行鲁棒的集成，本研究在多模态预训练的基础上，展示了在多模态知识图谱完成和多模态实体对齐两个任务中的领先性能，同时还具有增强其他现有方法的稳定性和性能改进的功能。

    Mar, 2024

  • 多模态知识图谱下的多模态推理

    提出了一种利用多模态知识图 (MMKGs) 进行多模态推理的方法 (MR-MKG)，通过利用多模态知识图 (MMKGs) 跨模态地学习丰富的语义知识，显著提高了大型语言模型 (LLMs) 在多模态推理中的能力。通过在仅使用 LLM 参数的 2.25% 进行训练，MR-MKG 在多模态问答和多模态类比推理任务上取得了优越的性能，胜过了之前的最新模型。

    Jun, 2024

  • 多模态知识图谱

    MMKG 是一个包含数字特征和图像链接的三个知识图谱集合，可以帮助多重关系链接预测和实体匹配社区，并且具有潜力促进知识图谱的新型多模态学习方法的发展。我们通过大量实验验证了 MMKG 在同 As 链接预测任务中的效用，并显示出多元特征类型学习对这一任务的益处。

    Mar, 2019

  • 基于大型语言模型的知识导向视觉问答中的模态感知集成

    基于知识的视觉问答（KVQA）对于利用外部知识，如知识图谱（KGs）来回答视觉问题进行了广泛研究。本文提出了一种新颖的 LLMs 模态感知集成方法（MAIL），用于 KVQA，它巧妙地利用多模态知识进行图像理解和知识推理，并在两个基准数据集上的实验证明了 MAIL 的卓越性能。

    Feb, 2024

  • AspectMMKG：具有方面感知实体的多模态知识图谱

    构建了 AspectMMKG，是第一个具有与方面相关的图像的多模态知识图谱，利用 AspectMMKG 改善了实体方面链接任务的性能，并进一步提出了一个方面相关图像检索模型。

    Aug, 2023

  • 多模态知识图谱增强实体感知图像描述

    该研究提出一种构建多模态知识图谱，将视觉对象和命名实体联系起来并同时捕捉实体之间的关系在内的新方法，以帮助名实体感知图像并生成更具信息量的事件描述。

    Jul, 2021

  • 为语言模型赋予多模态知识图谱表达

    本文提出使用外部知识图谱作为存储知识，并使用密集索引来检索以提高自然语言理解模型的参数效率，并通过两项下游任务证明了学习到的实体表示的实用性。

    Jun, 2022

  • 处理知识图谱补全中的长尾关系和罕见实体

    该研究提出了一种基于元学习的框架，通过使用文本描述来处理罕见关系和少见实体，其中包括一个新颖的模型来更好地从文本描述中提取关键信息，并引入了新的生成模型来增强性能。实验结果表明，此框架处理罕见关系和少见实体时优于以往的方法。

    Sep, 2019