Mar, 2024

基于概念的神经网络分析：视觉 - 语言模型

PDF
TL;DR通过多模态的视觉 - 语言基础模型作为一种视角，本文提出了一种逻辑规范语言 Con_spec，用于在这些模型的高级人类可理解概念描述的基础上编写规范并进行形式验证，通过采用 VLM 实现自然语言性质的编码和高效检查，以 ResNet 为基础的分类器在 RIVAL-10 数据集上进行的实验验证了我们的技术。
formal analysisvision-based deep neural networksmultimodal vision-language foundation modelslogical specification languageresnet-based classifier
发现论文，激发创造
  • 视觉任务的视觉语言模型综述

    本文系统回顾了基于语言的视觉模型在各种视觉识别任务中的应用，并总结了广泛采用的网络结构、预训练目标和下游任务，以及预训练和评估中广泛采用的数据集，并回顾和分类现有的预训练方法、传输学习方法和知识蒸馏方法。

    Apr, 2023

  • 视觉语言建模简介

    扩展到视觉领域的大型语言模型（LLMs）的应用将显著影响我们与技术的关系，但需要解决一些可靠性挑战。本文介绍了视觉语言模型（VLM）以及其工作原理、训练方法和评估方法，并讨论了将其扩展到视频领域的问题。

    May, 2024

  • 探索视觉 - 语言模型的边界：当前方法和未来方向的综述

    综述了大语言模型与视觉语言模型的最新进展，分析了它们在视觉能力、多模态输入和基准数据集方面的优势和局限性，并提出未来研究的潜在方向。

    Feb, 2024

  • 如果 CLIP 能说话：通过其首选概念描述理解视觉 - 语言模型的表示

    我们利用强化学习的方法提出了一种新颖的方法 ——Extract and Explore (EX2)，用于表征 Vision-Language Model (VLM) 的重要文本特征，并发现 VLM 在表示视觉概念时显著依赖于非视觉属性。

    Mar, 2024

  • 预训练的视觉语言模型学习可发现的视觉概念

    视觉语言模型能够预测图像中的视觉概念，例如 'brown'（颜色）和'spiky'（纹理），这种免费学习的能力可以广泛应用于神经符号推理或人可解释的对象分类。通过定义和评估视觉概念的新策略，我们证实预训练的视觉语言模型通过文字提示可以提取出准确全面的视觉概念，这一概念发现与学习框架能够为多样化的视觉识别数据集提供准确的描述。

    Apr, 2024

  • 分析基于视觉条件的语言模型的设计空间：棱镜式 VLMs

    通过一系列标准化评估和深入研究，提供了视觉相关语言模型 (VLMs) 的能力和设计决策，包括图像预处理、架构和优化等方面的细致洞察。

    Feb, 2024

  • 视觉 - 语言模型的跨模态概念学习和推理

    使用大规模预训练的视觉语言模型（如 CLIP）及跨模态概念学习和推理（CCLI）方法，能够通过文本和图像之间的相关性自动学习图像的视觉概念，并构建区分性的图像表示，从而提高少样本学习和领域泛化等图像分类任务的性能。

    Jul, 2023

  • 利用大型语言模型的描述进行视觉分类

    本文介绍了一种基于描述符的视觉语言模型分类方法，通过查询大型语言模型获取描述符，实现从中获得更多的信息并提供可解释性；实验证明了该方法在图像分类精度，适应新概念和缓解偏差等方面有着广泛的优势。

    Oct, 2022

  • 探究大型视觉语言模型的概念理解

    本文介绍了一种新的框架，用于探究和提升视觉语言模型的关系、组合和上下文理解。我们提出了一个基准数据集来检测内容理解的三个方面。我们实验了 5 种流行的模型，并发现它们大多数难以展示出概念理解。然而，我们发现交叉注意力可以帮助学习概念理解，并提出了一种新的微调技术，以奖励我们提出的三个概念理解措施。我们希望这些基准测试可以帮助社区评估和改进大型视觉语言模型的概念理解能力。

    Apr, 2023

  • 显式高层次概念在视觉到语言问题中有什么价值？

    本文提出了一种将高层次的概念融入卷积神经网络和循环神经网络的方法，实现了在图像字幕生成和视觉问答的最新技术性能上的显着提升，并展示了通过引入外部语义信息来进一步提高性能。在此过程中，我们分析了高级语义信息在视觉到语言问题中的价值。

    Jun, 2015