Feb, 2024

填补间隔：利用视觉Transformer融合基于环境感知的知识进行高级图像分类

HTML
PDF
TL;DR我们通过利用文化图像的感知知识，结合深度视觉模型的感知理解，提出了一种新的方法，用于在图像中检测抽象概念和进行图像分类。通过自动提取图像中的感知语义单元，并将其建模和整合到ARTstract Knowledge Graph (AKG)中，我们增强了AKG的性能和可解释性。结果表明，我们的方法在抽象概念图像分类方面优于现有技术，这表明了神经符号方法在知识整合和图像表示方面具有强大的潜力。
发现论文，激发创造
  • 基于图像的知识表示学习

    本文提出了一种名为IKRL的图像化知识表示学习模型，利用实体图片提供的视觉丰富的信息作为辅助，经过三元组和图片的双重信息进行知识表示的学习，在知识图谱完成和三元组分类上表现出了优越性。

    Sep, 2016

  • Art2Real：通过语义感知的图像翻译展示艺术品的真实面貌

    通过语义感知的计算机视觉技术，将艺术作品转化为照片般写实的图像，降低了艺术数据与真实数据的视觉差距，并取得了分类、检测和分割任务的表现优化。

    Nov, 2018

  • 幕后揭秘：揭示预训练视觉语言模型的秘密

    该论文研究了使用Transformer模型的大规模预训练模型在图像与语言（V+L）方面的应用，通过评估和探索内部机制，提供了关于多模式预训练及其注意力头的启示和指导。

    May, 2020

  • 跨语言文化下的视觉推理

    通过引入印尼语、汉语、斯瓦希里语、泰米尔语和土耳其语等语言，构建了一个新的ImageNet-style分层协议，从本地化的角度推荐相关概念和图像，建立了一个用于多文化及多语言视觉和语言推理的数据集MaRVL，并列举出一系列现代模型的基线，发现其跨语言性能显著滞后于英语的监督性能。

    Sep, 2021

  • 利用视觉知识在语言任务中: 跨模态知识转移的中间预训练的实证研究

    本研究探索了将视觉知识整合到语言模型中以填补现有文本信息中缺失的相关性和物体属性信息的空白。研究发现，视觉知识传递可以在低资源和完全监督设置下均有效提高预先训练的语言模型在需要视觉知识的下游任务中的性能。

    Mar, 2022

  • 对比视觉语言模型中的感知分组

    本篇论文研究视觉-语言模型在理解图像中物体所在区域和组合视觉相关部分方面的表现，提出一种最小的修改方案，获得了先进的无监督分割结果和对冗余相关性的鲁棒性。

    Oct, 2022

  • 视觉语义分析：从图像到抽象意义表征

    本文提出了使用自然语言处理（NLP）中广泛使用的抽象意义表述（AMR）来建立更具有语言信息的图片抽象表述（称为视觉AMR图），并通过重复试验和分析表明，我们可以重用现有的文本到AMR分析器来分析图像到AMRs的转换。

    Oct, 2022

  • 看见无形: 对静态图像中的自动高层次视觉理解的调查

    计算机视觉领域的研究论文针对抽象社会概念检测问题，通过对高层视觉理解和计算机视觉任务的研究和聚类，提供了对抽象概念识别的系统回顾。

    Aug, 2023

  • CoProNN:基于概念的原型最近邻方法解释视觉模型

    该研究提出了一种通过生成基于概念的原型来解释计算机视觉模型预测的方法，该方法可以快速创建领域专家可直观理解的基于概念的解释。通过与其他基于概念的解释方法的对比，该方法在粗粒度图像分类任务上表现出很好的竞争力，并且在更具挑战性的细粒度任务上甚至可能表现更优。该方法在人机协作环境中通过定性和定量用户研究证明其有效性。

    Apr, 2024

  • 计算机视觉中的基于概念的解释：我们处于何处，未来可能走向何方？

    本文针对基于概念的解释性人工智能（C-XAI）方法，评估了该研究领域的进展和趋势，旨在识别有趣且尚未充分探索的领域，并提出未来的研究方向。通过探讨解释概念的选择、表示方式以及如何控制概念的技术，这项研究为C-XAI的未来发展提供了新的视角和启发。

    Sep, 2024