visual language models | BriefGPT

关键词visual language models

搜索结果 - 21

VisualRWKV：探索用于视觉语言模型的递归神经网络
通过引入一种线性循环神经网络模型到多模态学习任务中，该研究提出了 VisualRWKV，它是首个应用线性 RNN 模型到视觉语言模型中的尝试，并通过数据相关的循环和提示增强建模能力，以及 2D 图像扫描机制来丰富对视觉序列的处理，实验证明
PDF13 days ago
视觉与语言模型中的多图像理解基准测试：感知、知识、推理和多跳推理
通过引入多图像关系基准（MIRB），我们评估了视觉语言模型（VLMs）在比较、分析和推理多个图像时的能力，并发现开源 VLMs 在单图像任务中接近 GPT-4V 的性能，但在多图像推理任务中存在显著的性能差距。我们的发现表明，即使是最先进的
PDF14 days ago
RS-Agent: 智能代理自动化遥感任务
提出使用大型语言模型（LLM）驱动的遥感智能代理 RS-Agent 来解决遥感应用中的复杂问题，通过整合高性能的遥感图像处理工具和利用有力的知识文档回答专业问题，实验结果表明 RS-Agent 在场景分类等任务中具有出色性能。
PDF21 days ago
隐私感知的视觉语言模型
本文介绍了一项关于 Visual Language Models（VLMs）处理隐私敏感信息的研究，引入了一个新的基准 PrivBench，并在其中评估了 10 个最先进的 VLMs。研究结果表明，VLMs 对隐私的理解普遍有限，因此提出了
PDFa month ago
VR-GPT：智能虚拟现实应用的视觉语言模型
本研究介绍了一种创新方法，利用 VR 环境中的 VLMs（Visual Language Models）来增强用户交互和任务效率，通过自然语言处理实现实时、直观的用户交互，不依赖于视觉文本指令。使用语音识别和文本转语音技术，使用户与 VLM
PDFa month ago
DiffMatch: 视觉 - 语言指导提升半监督变化检测器的性能
本文提出了一种基于视觉语言模型的半监督变化检测方法，名为 DiffMatch，通过利用 VLM 合成自由变化标签为无标签数据提供额外的监督信号，并通过辅助分割解码器明确分离双时相图像的语义表示，最终通过特征级对比损失引入度量感知监督，实验证
PDF2 months ago
CVPRCityLLaVA: 城市场景下 VLMs 的高效微调
城市场景交通安全描述与分析在保险检查和事故预防等应用中起着关键作用。本文介绍了 CityLLaVA，一种专门用于城市场景的视觉语言模型的新的微调框架，通过采用边界框进行最佳视觉数据预处理，包括视频最佳视角选择和在训练和测试阶段进行视觉提示工
PDF2 months ago
应用 VLM 辅助训练提升视频变换器的动作理解能力
提出了一种利用 Vision Transformers（ViTs）和 Visual Language Models（VLMs）之间的互补优势的 Four-tiered Prompts（FTP）框架，通过改进视觉编码并对齐 VLM 输出，从而
PDF3 months ago
关于医学图像分析的大型视觉语言模型的实证研究
本研究探讨了视觉语言模型在医学图像分析任务中的零样本和少样本鲁棒性，通过全面的实验验证了视觉语言模型在分析生物医学图像方面的有效性。
PDF4 months ago
零封闭式 VLM 用于仇恨迷因检测：我们到达目标了吗？
这项研究探讨了视觉语言模型在处理令人费解任务（如仇恨迷因检测）中的有效性，并观察到大型视觉语言模型在零样本仇恨迷因检测方面仍然存在脆弱性。
PDF4 months ago
ColorSwap：一个用于多模态评估的颜色和词序数据集
这篇论文介绍了 ColorSwap 数据集，旨在评估和提升多模态模型在物体与其颜色匹配方面的能力。该数据集由 2,000 个独特的图像 - 标题配对组成，分为 1,000 个例子。每个例子包括一个标题 - 图像配对以及一个 “颜色交换” 的
PDF5 months ago
利用知识注入学习提高多模态营销中的上下文一致性
通过将常识知识图与大型视觉语言模型结合，改进了多模态营销活动的效果预测，并实现了对可能具有说服力的多模态活动的早期检测以及对营销理论的评估和增强。
PDF5 months ago
VILA：关于视觉语言模型的预训练
通过逐步可控的比较，我们研究了增强大语言模型 (LLM) 向视觉语言模型 (VLM) 扩展的 VLM 预训练过程的设计选择。我们通过增强的预训练方法构建了 VILA，一系列视觉语言模型，无需额外的修饰即可在主要基准测试中始终优于当前最先进的
PDF7 months ago
大规模视觉语言模型中的多模态违法言论检测与纠正
本研究探讨了使用视觉语言模型进行仇恨表情包检测和修正任务的能力，并通过实证实验证明了预训练的 LLaVA 模型在这些任务中的有效性和讨论了其优缺点。
PDF8 months ago
GPT-4V (ision) 自动驾驶中的视觉语言模型的早期探索
该研究论文评估了最新的先进视觉语言模型（VLM）在自动驾驶场景中的应用，发现该模型在场景理解和因果推理方面表现出优越性能，但在方向辨别、交通信号识别、视觉对接以及空间推理任务方面仍存在挑战。
PDF8 months ago
视觉对抗样本破解大型语言模型
本文介绍了在大型语言模型中引入视觉的趋势。讨论了这个趋势的安全和安全风险，指出了高维视觉输入空间本质上是对抗性攻击的理想介质，以及这种趋势的广泛功能使得视觉攻击者有更多的攻击目标。还研究了 MiniGPT-4 对视觉对抗性例子进行了安全机制
PDFa year ago
用于任务组合的提示代数
本文探讨使用独立学习的提示符是否可以通过提示代数，组合不同任务的模型。我们考虑使用提示调整的视觉语言模型 (VLM) 作为我们的基本分类器，形式化地定义提示代数的概念，提出了约束提示调整来改善复合分类器的性能。我们证明了我们方法的有效性对象
PDFa year ago
面向组合式零样本学习的语言指导分布促进
本文提出了一种使用 CLIP 模型的语言信息分布 ——PLID 模型来增强光学识别任务中未知组合视觉概念的泛化性能，通过软提示类嵌入式的组合和原始的嵌入式混合策略来融合一致的分类决策。使用 MIT-States、UT-Zappos、C-GQ
PDFa year ago
通过大型语言模型增强视觉语言模型的推理能力
本文提出了一种名为 TReE 的方法，用于在零样本场景中将大型语言模型（LLMs）的推理能力转移给视觉语言模型（VLM），包含观察、思考和重新思考三个阶段。
PDFa year ago
充分利用现有资源：在低数据条件下调整预训练的视觉语言模型
研究表明，视觉语言模型是目前广泛使用的预训练模型，但在适应少量样本方面，深度学习模型存在不足。本文研究了面向生成视觉语言模型的现有适应方法，提出了自标记的重要性，并提出一种任务适应流水线，可显著提高各种视觉语言任务（如图像分类、视觉问答等）
PDFa year ago