OtterHD: 高分辨率多模态模型

Nov, 2023

OtterHD: A High-Resolution Multi-modality Model

Bo Li, Peiyuan Zhang, Jingkang Yang, Yuanhan Zhang, Fanyi Pu...

TL;DROtterHD-8B 是一个可处理高分辨率图像输入的多模态模型，具有灵活的输入维度处理能力，在小物体的细节和空间关系辨析方面的性能超过其他模型。研究结果揭示了不同模型之间在视觉信息处理上的结构差异以及视觉编码器的预训练分辨率差异对模型效果在该基准测试中的影响。该研究突出了大型多模态模型中的灵活性和高分辨率输入能力的关键作用，同时展示了 Fuyu 架构在处理复杂视觉数据方面的潜力。

Abstract

In this paper, we present otterhd-8b, an innovative multimodal model evolved from Fuyu-8B, specifically engineered to interpret high-resolution visual inputs with granular precision. Unlike conventional models th

otterhd-8b multimodal model high-resolution inputs magnifierbench flexibility

发现论文，激发创造

InfiMM-HD：高分辨率多模态理解的巨大跃进

为了解决多模态大型语言模型在处理高分辨率图像时的准确识别和理解复杂细节方面的挑战，我们提出了 InfiMM-HD，一种专门设计用于处理不同分辨率图像的创新架构，能够提高模型的视觉感知能力，同时降低计算成本。经验证明 InfiMM-HD 具有鲁棒性和高效性，为相关领域的研究提供了新的探索途径。

Mar, 2024

LLaVA-UHD: 一种感知任何纵横比和高分辨率图像的 LMM

LLaVA-UHD 是一种大型多模态模型，其中包括图像模块化策略、压缩模块和空间模式，它可以高效地感知任何宽高比和高分辨率的图像，并在多个基准测试中优于其他模型。

Mar, 2024

Dragonfly: 多分辨率缩放强力推进大型视觉 - 语言模型

通过引入 Dragonfly，这篇论文提出了一种新的大型多模态模型架构，利用多分辨率视觉编码和放大补丁选择的策略来增强细粒度的视觉理解，从而提高对图像区域的推理能力，并取得了与其他架构相媲美或更好的性能，为未来的视觉指导对齐研究提供了洞见。

Jun, 2024

大型多模态模型的关键要素：图像分辨率和文本标签

本研究提出了一种名为 Monkey 的多模态模型，可以提高输入分辨率，并通过多级描述生成方法，提供丰富的信息以帮助模型学习场景和物体之间的上下文关联。在广泛的测试中，Monkey 在图像字幕生成、通用视觉问答和面向文档的视觉问答等基本任务上展现了竞争性的性能。

Nov, 2023

Ferret-v2：针对较大语言模型进行指代和依存关系的改进基准

通过三个主要设计，Ferret-v2 对 Ferret 进行了重大升级，实现了任意分辨率的对齐、多粒度的视觉编码和三阶段的训练范式，从而在高分辨率处理和细粒度视觉处理方面提供了显著改进。

Apr, 2024

关于大型多模型模型中 OCR 的隐秘之谜

该论文通过对现有公开的多模态模型进行综合研究，评估它们在文本识别、基于文本的视觉问题回答和关键信息提取等任务中的性能，发现这些模型主要依赖于语义理解进行字识别，对单个字符形状的感知较差，同时对文本长度漠不关心，无法有效检测图像中的细粒度特征，在传统文本任务中尚无法与领域特定方法相媲美，面临更大的挑战。

May, 2023

ViTAR: 任意分辨率的视觉 Transformer

通过动态分辨率调整和模糊位置编码，ViTAR（任意分辨率的视觉 Transformer）实现了对不同分辨率图像的高效处理和一致的位置感知，提升了 ViT（视觉 Transformer）的分辨率可扩展性和性能。

Mar, 2024

HIRI-ViT：高分辨率输入下的视觉 Transformer 尺度扩展

一种基于高分辨率输入的新型混合主干网络 (HIRI-ViT)，通过将典型的卷积神经网络操作分解为两个并行的卷积神经网络分支来构建，一个直接以高分辨率特征为输入，但使用更少的卷积操作，另一个首先进行下采样，然后在低分辨率特征上使用更多的卷积操作，通过对 ImageNet、COCO 和 ADE20K 数据集的实验表明了 HIRI-ViT 的优越性。

Mar, 2024

超高像素大型多模态模型

高分辨率是大型多模式模型（LMMs）的基础，本论文提出了一种新的框架和优化策略，通过混合适配器从全局视图中提取上下文信息，并引入可学习的查询嵌入来减少图像标记，同时通过相似性选择器选择用户问题的关键标记，实现更好的性能表现。此外，通过交替训练的方式平衡学习全局和局部方面，并引入高要求图像细节的数据集来增强局部压缩层的训练，提出的方法在各项基准测试中表现出优异性能。

Jun, 2024

多尺度高分辨率视觉 Transformer 用于语义分割

HRViT 通过将高分辨率多支路结构与 Vision Transformers 相集成，探索异构分支设计，减少线性层中的冗余并增强注意力块的表现力，从而在 ADE20K 和 Cityscapes 数据集达到 50.20％和 83.16％的 mIoU 优化性能和效率，比现有的 MiT 和 CSWin 骨干框架平均提高 1.78 个 mIoU，参数节省 28％，FLOPs 减少 21％。

Nov, 2021