Oct, 2023

VisPercep：一种增强视觉感知能力的视觉语言方法（面向盲人和视力障碍人群）

PDF
TL;DR本文提出了一种创新的方法，利用大型视觉语言模型增强盲人和视力低下人士的视觉感知，提供周围环境的详细综合描述并警示潜在风险。该方法通过整合图像识别结果和用户查询，使用大型视觉语言模型根据提示生成环境的详细描述，并通过分析环境对象和场景来识别潜在风险。实验结果表明该方法能够准确识别对象并为盲人和视力低下人士提供深入的环境描述和分析。
blindnesslow visionvisual perceptionlarge vision-language modelobject recognition
发现论文，激发创造
  • 语境增强：迈向高效准确的场景文本识别

    提出了一种基于 $ extbf {LVP}$ 的语言感知视觉模型，通过级联式优化和语言信息挖掘解决了基于纯视觉的识别模型在注意力漂移和部分视觉缺失情况下识别率低的问题，并在保持低复杂度的同时达到了最佳性能。

    May, 2023

  • BERT 是否盲目？探索视觉语言预训练对视觉语言理解的影响

    本研究探讨了图像与语言预训练是否可以提高模型在需要隐含视觉推理的文本任务上的性能，提出了一系列用于探测文本编码模型视觉推理能力的任务，并说明了采用多模态预训练方法可以提高文本编码器的性能。

    Mar, 2023

  • VIAssist：为视觉障碍用户适应多模态大型语言模型

    本研究探讨如何利用多模态大型语言模型（MLLMs）帮助视觉障碍（VI）人士提供视觉问题的答案，并介绍了 VIAssist，一种能够识别不受欢迎图像并提供详细操作建议，并基于这些图像提供可靠答案给用户的方法。实验结果表明，VIAssist 相对于基准方法，在 BERT 得分和 ROUGE 得分上分别提高了 0.21 和 0.31。

    Apr, 2024

  • 多模视觉监督对语言有益吗？

    本文探讨和研究使用视觉监督学习的语言表示相对于常规语言表示对自然语言理解和常识推理基准测试的优劣，并根据多个图文模型和视频文本模型的实验结果发现，常规语言表示在多数任务中表现更好，揭示了视觉 - 语言模型当前的缺陷。

    Feb, 2023

  • 对比视觉语言模型中的感知分组

    本篇论文研究视觉 - 语言模型在理解图像中物体所在区域和组合视觉相关部分方面的表现，提出一种最小的修改方案，获得了先进的无监督分割结果和对冗余相关性的鲁棒性。

    Oct, 2022

  • 视觉任务的视觉语言模型综述

    本文系统回顾了基于语言的视觉模型在各种视觉识别任务中的应用，并总结了广泛采用的网络结构、预训练目标和下游任务，以及预训练和评估中广泛采用的数据集，并回顾和分类现有的预训练方法、传输学习方法和知识蒸馏方法。

    Apr, 2023

  • BLINK：多模态大型语言模型具备视觉但无感知能力

    Blink 是一个针对多模式语言模型（LLMs）的新基准，重点关注其他评估中找不到的核心视觉感知能力。通过对 14 个经典的计算机视觉任务进行改组，Blink 生成了 3,807 个多项选择题，配备单个或多个图像和视觉提示。虽然人类平均准确率为 95.70%，但 Blink 对现有的多模式 LLMs 具有意外的挑战性，即使是表现最佳的 GPT-4V 和 Gemini 准确率也只有 51.26% 和 45.72%，仅比随机猜测高出 13.17% 和 7.63%，表明这些感知能力在最近的多模式 LLMs 中尚未 “出现”。我们的分析还突出了专家级计算机视觉模型在解决这些问题方面表现更好，这为未来的改进提供了潜在途径。我们相信 Blink 将激发社区的努力，帮助多模式 LLMs 赶上人类水平的视觉感知。

    Apr, 2024

  • BLIP: 为实现统一的视觉语言理解与生成，引入语言 - 图像引导预训练

    本文提出了 BLIP 作为新的 VLP 框架，通过引入 captioner 生成合成字幕，并使用 filter 删除噪音数据，能灵活地传输视觉语言理解和生成任务，获得了在一系列视觉语言任务中最先进的结果，同时在零样本任务中也表现出极强的泛化能力。

    Jan, 2022

  • PVLR：基于提示的视觉语言表示学习用于多标签图像识别

    在这篇论文中，我们提出了一种 Prompt-driven Visual-Linguistic Representation Learning（PVLR）框架，通过双提示策略和交互融合模块，更好地利用了语言模型的能力，以提高多标签图像识别的性能。实验证明了 PVLR 的卓越性能。

    Jan, 2024

  • 迷失在翻译中：当 GPT-4V (ision) 无法与文字心有灵犀。VLLMs 及更多的视觉语言一致性分析

    通过对多模态机制的详细分析，揭示了 GPT-4V 等模型执行视觉和语言任务的一致性与独立性，并引入了一种名为 “Vision Description Prompting” 的方法，有效提高了具有挑战性的视觉相关任务的性能。

    Oct, 2023