vision-language tasks | BriefGPT

关键词vision-language tasks

搜索结果 - 25

基于 LLM 的层次化概念分解方法用于可解释的细粒度图像分类
我们介绍了一种名为 Hi-CoDe（层次概念分解）的新框架，通过结构化概念分析来增强模型的可解释性，并且不损害准确性，从而提供对决策过程的清晰洞察和各种概念的重要性的突出，为可解释性设定了新的基准。
PDFa month ago
引入路由功能以低秩瓶颈优化视觉语言参数高效微调
针对视觉 - 语言（VL）任务的参数高效微调方法，使用名为路由函数的操作在低秩瓶颈中增强了 VL 对齐，极大地改善了原始 PEFT 方法在各种 VL PEFT 设置中的表现，包括 20% 的提升（在 VQAv2 上）和 30% 的提升（在
PDF4 months ago
双重焦点：在多模态大型语言模型中整合宏观和微观视角
通过在多模态大型语言模型中引入双重聚焦机制，该研究提出了一种新颖的框架，能够提升视觉 - 语言任务的性能，并在综合考虑全局、细节和综合因素的任务中展现出卓越优势。利用来自宏观和微观视角的图像信息和问题响应，该模型通过识别合适的子区域进行深入
PDF4 months ago
通用粗细视觉语言模型设计：万能任务大师
这篇研究论文介绍了 VistaLLM，一种能够处理视觉输入并统一各种视觉 - 语言任务的通用视觉系统，它利用指令调整的方法解决了在单一框架中集成分割、多图像输入和粗粒度任务的问题。通过使用说明的图像分词器提取压缩和精炼特征，以及使用梯度感知
PDF6 months ago
AAAI值得信赖的视觉语言模型的探险：一项调查
通过三个基本原则（偏见、鲁棒性和可解释性）对视觉 - 语言变压器进行深入研究，以提高它们的可靠性和可信度。
PDF7 months ago
大型多模态模型的持续指令调优
本文研究了指令调整在持续学习大型多模型 (LMMs) 中的应用，并发现持续调整过程中仍然存在灾难性遗忘现象，但多任务联合指令调整可以改善遗忘问题，此外，基于任务相似性的正则化和模型扩展方法在持续学习中表现良好。
PDF7 months ago
EMNLP为视觉问答填补图像信息缺口：引导大规模语言模型主动提问
通过设计一种框架，使得大型语言模型能够主动提问以揭示图像中的更多细节，改进了知识驱动的视觉问答任务的性能。
PDF7 months ago
复杂视觉语言推理任务中的思维链路作用
该研究通过将复杂的视觉语言任务拆分为子任务和中间步骤的思维链方法，探究其在提高需要复杂感知和推理的视觉语言任务中的有效性。我们提出了 “先描述再决策” 的策略，该策略受人类信号处理方式启发，显著提高探索任务性能 50%，为进一步研究复杂视觉
PDF8 months ago
动态编码器早期退出的加速编码 - 解码 Transformer 模型
通过在解码层执行动态提前退出的方法（DEED），提出了一种多退出的编码器 - 解码器变换器模型，其能够在保持精确性的同时减少推理延迟。
PDF8 months ago
GPT-4V 作为视觉语言任务的通用评估器
GPT-4V 在多模态任务的普遍评估方面展现出了巨大的潜力，尽管存在一些限制，但其与人类的一致性以及提供详细解释的能力为通用自动评估器提供了希望。
PDF8 months ago
MiniGPT-v2：大型语言模型作为视觉语言多任务学习的统一接口
利用 MiniGPT-v2 建立一个统一的界面，有效地处理各种视觉 - 语言任务，包括图像描述、视觉问答和视觉定位等，并通过使用唯一标识符提高模型在每个任务中的学习效率。
PDF9 months ago
重新表述、增强、推理：视觉定位问题与视觉 - 语言模型的关联
通过添加视觉相关信息作为预先说明以减少不确定性，并改变提问方式以提高模型性能，在图像问答任务中，使用 RepARe 框架可以显著提高零样本性能，并通过对输出进行深入分析，展示了如何提高句法复杂性并有效利用 LVLMs 中的视觉 - 语言交互
PDF9 months ago
通过语义基础解决视觉语言任务中目标提议评估的不匹配
评估目标提议的有效性，通过仅针对由阈值筛选的注释子集进行评估，使用语义基础实现与图像字幕和人工注释的对齐，并比较当前在场景图生成基准中使用的检测器的性能对比。
PDF10 months ago
ACLUniFine: 一种用于零样本视觉 - 语言理解的统一和细粒度方法
本文提出了一个统一的框架，以利用精细的信息实现零样本视觉语言学习，涵盖了多个任务，如视觉问题回答，SNLI-VE 和 VCR，并证实了该方法的有效性和泛化性。
PDFa year ago
通过动态视觉提示将预训练语言模型应用于视觉语言任务
本文旨在研究使用预训练语言模型（Pre-trained language models，PLMs）作为一个独立的模型来进行视觉语言推理任务。提出了一个名为 Dynamic Visual Prompting（DVP）的新型转移学习方法，通过搜
PDFa year ago
GRILL: 基于文本和图像区域对齐的视觉 - 语言预训练
本文介绍了一种名为 GRILL 的 VL 模型，能够通过利用物体 - 文本对齐来学习对象对齐与定位，从而在零个或很少的训练实例下，推广到各种零 / 几 - shot 任务，包括视觉问答、字幕和定位任务。评估表明，GRILL 模型 consi
PDFa year ago
扩散模型中基于上下文的学习解锁
文章提出了 Prompt Diffusion 这个框架，可以实现基于扩散的生成模型的上下文学习，同时还展示了其在机器视觉中的应用，包括视觉 - 语言任务和文本指导的图像编辑。
PDFa year ago
CVPR自上而下的分析合成视觉注意力
本文提出了一种从经典分析合成视觉的角度来考虑自下而上的视觉任务导向注意的方法，并构建了一种名为 AbSViT 的基于 Vision Transformer 的模型，该模型在视觉语言任务中有较好的表现，并可用作分类、语义分割和模型稳健性等各种
PDFa year ago
GIT: 用于视觉和语言的生成图像到文本的变压器
本文设计和训练了一个生成式图像到文本的转换器 ——GIT，以统一图像 / 视频字幕和问答等视觉语言任务。使用简化的体系结构和扩大的预训练数据和模型规模，GIT 在 12 个具有挑战性的基准测试中都取得了新的最佳表现，这些基准测试中有 Tex
PDF2 years ago
CLIP-TD：针对视觉语言任务的 CLIP 目标蒸馏
本研究提出了一项名为 CLIP-TD 的方法，对视觉 - 语言任务进行有针对性的蒸馏，以适应每个实例自适应选择的标记。经过实验证明，我们的 CLIP-TD 在视觉常识推理，视觉蕴涵推理和视觉问答的低量数据和领域迁移条件下获得了显着的增益，
PDF2 years ago