image understanding | BriefGPT

关键词image understanding

搜索结果 - 49

VRSBench：用于遥感图像理解的通用视觉语言基准数据集
我们引入了一个新的基准，旨在推进远程感知图像的通用、大规模的视觉语言模型的发展。
PDF14 days ago
从我的视角看：对大型视觉 - 语言模型在图片理解中的西方文化偏见进行诊断
视觉 - 语言模型（VLMs）可以通过多种语言回答有关图像的问题。然而，除了语言，文化也影响我们的观察方式。在这项研究中，我们展示了一项新颖的调查，证明并定位了 VLMs 在图像理解中存在的西方偏见。通过对文化多样的图像和注释进行主观和客观
PDF15 days ago
图像文本化：一种自动创建准确详细图像描述的框架
通过结合现有的多模态大语言模型（MLLMs）与多个视觉专家模型，我们提出了一种名为图像文本化（IT）的创新框架，以最大程度地将视觉信息转化为文本，自动生成高质量的图像描述。我们还提出了几个综合评估基准来验证我们框架所创建的图像描述的质量，显
PDF21 days ago
CVPRTRINS：面向能够阅读的多模态语言模型
通过引入 TRINS 数据集和 LaRA 模型，本研究提升了多模式大语言模型在理解图片中的文本内容方面的能力。TRINS 数据集包含了 39,153 个文本丰富的图片、图片描述和 102,437 个问题，并且较之相关数据集，TRINS 的每
PDF22 days ago
TOPA: 通过文本预对齐扩展大型语言模型用于视频理解
该论文介绍了一种名为 TOPA 的新方法，通过使用现有的大型语言模型（LLM）自动生成模拟真实视频 - 文本数据的连续文本帧，进而预对齐一种仅使用语言的 LLM 与视频模态之间的差距，并利用 CLIP 模型作为特征提取器来对齐图像和文本模态
PDFa month ago
AutoSoccerPose：足球射门动作的自动化三维姿势分析
通过引入 3D Shot Posture (3DSP) 数据集、3DSP-GRAE 模型以及 AutoSoccerPose 流程，本研究解决了计算机视觉中的图像理解问题，并在足球姿势分析领域取得了显著进展。
PDFa month ago
可解释多目标跟踪的反向神经渲染
通过在预训练的 3D 对象表示的潜在空间上优化可微分的渲染管道，我们提出将 RGB 摄像机中的 3D 多目标跟踪重新构建为逆渲染问题，通过优化图像损失在生成的潜空间上进行，其固有地解藕形状和外观属性。我们验证了我们方法的泛化和扩展能力，通过
PDF2 months ago
ViTextVQA：用于评估图像中越南文本理解的大规模视觉问答数据集
通过对 OCR 文本中令牌的处理和选择顺序的细致实验，我们发现这一发现显著提高了在 ViTextVQA 数据集上基准模型的性能。
PDF3 months ago
Veagle: 多模态表征学习的进展
提出了一种名为 Veagle 的新方法，通过在现有模型中增强多模态能力，利用动态机制将编码的视觉信息直接投射到语言模型中，从而在视觉问题回答和图像理解等任务中表现出具有显著优势的 5-6% 的改进。
PDF5 months ago
Gemini: 一系列高能力的多模态模型
介绍了一种新的多模态模型 Gemini 系列，具备对图像、音频、视频和文本的出色理解能力。Gemini 系列包括 Ultra、Pro 和 Nano 三种规模，适用于从复杂推理任务到内存受限的设备使用场景。在广泛的基准测试中，我们最强大的 G
PDF6 months ago
LLaMA-VID: 大型语言模型中的图像抵值 2 个令牌
通过引入 LLaMA-VID 方法处理视频和图像理解中的标记生成挑战，减轻了长视频处理中的计算负担，并证明在大多数基于视频或图像的基准测试中能超越之前的方法。
PDF7 months ago
文化与语言多样性改善视觉表达
我们的研究展示了多语言语境下数据集和模型生成的图像标题之间的显著语义差异，以及不同语言训练的模型在对应语言的测试数据上表现最佳，而在多语言内容上训练的模型在所有评估数据组合上都表现良好，这对于改善图像理解的多样化感知具有重要意义。
PDF8 months ago
Tree-GPT：用于森林遥感图像理解和交互分析的模块化大型语言模型专家系统
该论文介绍了一种新颖的框架 Tree-GPT，将大型语言模型（LLMs）整合到森林遥感数据工作流中，从而提高数据分析的效率。通过整合图像理解模块、领域知识库和工具链，使 LLMs 能够理解图像、获取准确的知识、生成代码和在本地环境中执行数据
PDF9 months ago
看见无形：对静态图像中的自动高层次视觉理解的调查
计算机视觉领域的研究论文针对抽象社会概念检测问题，通过对高层视觉理解和计算机视觉任务的研究和聚类，提供了对抽象概念识别的系统回顾。
PDF10 months ago
SPAE：使用固定的 LLMs 进行多模态生成的语义金字塔自编码器
本文介绍了语义金字塔自编码器（SPAE），它使得具有非语言模式（如图像或视频）的被冻结的 LLMs 能够执行理解和生成任务。我们的方法通过在冻结的 PaLM 2 和 GPT 3.5 上进行多样化的图像理解和生成任务中上下文学习实验证明，是首
PDFa year ago
通过特定知识注入实现预训练大型视觉模型对织物缺陷分割的有效迁移
本文提出了一种创新的方法，将织物缺陷相关领域特定知识融入到 SAM 模型中，通过引入和培训独特的一组织织缺陷相关参数，这种方法将领域特定知识无缝集成到 SAM 中，而无需对预先存在的模型参数进行广泛的修改。与现有分割模型相比，我们的模型
PDFa year ago
利用多用途特征匹配进行单次分段
Matcher 是一种结合通用特征提取和无类别分割模型实现一次性分割的方法，通过设计双向匹配策略和鲁棒的提示采样器进行交叉图像语义密集匹配以及实例级匹配策略，能够在各种分割任务中实现令人印象深刻的泛化性能，无需训练。
PDFa year ago
ArtGPT-4: 利用适配器增强 MiniGPT-4 实现艺术视觉 - 语言理解
本文介绍了 MiniGPT-4 和 ArtGPT-4 模型，这些模型通过新颖的数据评估方法来解决获得符合其规模的数据集的挑战，并可生成带有艺术风格的图片和 aesthetically pleasing HTML/CSS web pages，
PDFa year ago
可解释、具有物理感知、值得信赖的合成孔径雷达人工智能范式转变
本文提出了一种基于可解释数据转换的新范式，以生成 AI 方法的输入，提供知识反馈，从而从数据中学习或改进高复杂度未知或未形式化的模型，此方法被成功应用与合成孔径雷达数据的混合建模和图像理解。
PDFa year ago
PCRLv2：用于自监督预训练的医学图像分析统一视觉信息保护框架
提出了一个基于像素恢复和多任务优化的统一半监督学习框架，用于医学图像分析，并在包括脑部肿瘤分割，胸部病理学识别和肺部结节检测在内的各种任务中取得了优于其他自监督学习方法的表现。
PDFa year ago