large-scale vision-language models | BriefGPT

关键词large-scale vision-language models

搜索结果 - 14

MedDr: 诊断引导下的大规模医学视觉语言学习
利用诊断指导的引导策略和图像与标签信息，构建视觉 - 语言数据集，从而开发了一个通用的医疗基础模型 MedDr，能够处理多样化的医疗数据模态，包括放射学、病理学、皮肤科、眼底摄影和内窥镜检查，并提出了一种简单而有效的检索增强医学诊断策略，提
PDF2 months ago
DreamPBR：基于文本和多模态引导生成高分辨率的 SVBRDF
通过结合大规模的视觉语言模型和已存在的先验知识，我们提出了 DreamPBR，一种新颖的基于扩散的生成框架，用于创建由文本和多模态控制引导的具有空间变化外观属性的材料，从而提供高度可控性和多样性。通过我们的方法，在材料 creation 和
PDF2 months ago
基于贝叶斯的预训练模型在低 - shot 图像分类中的探索
基于高斯过程的概率模型集成框架，通过结合 CLIP 和基于各种预训练模型构建的深度核函数集成，实现了先验知识的整合，并在标准基准上通过广泛实验证明了我们方法在预测性能方面始终优于竞争方法。
PDF3 months ago
选择与概括：选择性双教师知识迁移用于视觉语言模型的持续学习
大规模视觉语言模型（VLMs）展示了对未见域数据具有强大的零样本泛化能力。然而，适应预训练的 VLMs 并执行一系列下游任务时，它们容易忘记以前学到的知识并降低其零样本分类能力。为解决这个问题，我们提出了一种独特的选择性双教师知识迁移框架，
PDF4 months ago
大规模视觉语言模型中的艺术作品解释
大规模视觉语言模型（LVLMs）可以从图像和说明中输出文本，展示出在文本生成和理解方面的先进能力。然而，LVLMs 在理解解释图像所需的知识、各种知识之间的复杂关系以及如何将这些理解整合到解释中的能力尚未得到明确。针对这个问题，我们提出了一
PDF4 months ago
基于视觉语义对齐的弱监督三维视觉定位
基于大规模视觉 - 语言模型的弱监督学习方法，利用 2D 图像和 3D 点云之间天然存在的对应关系，无需精细标注的边界框注释，通过学习文本 - 3D 对应，实现文本查询与 3D 目标物的关联。实验结果在 ReferIt3D 和 ScanRe
PDF7 months ago
基于大型视觉 - 语言模型的语义感知框架 - 事件融合式模式识别
整合 RGB 帧、事件流和语义标签的模式识别框架，利用预训练的大规模视觉 - 语言模型（CLIP）提取特征，并通过多模态 Transformer 网络集成这三种形式的特征，通过实验证明了 SAFE 模型的有效性。
PDF7 months ago
抗噪非监督视觉 - 语言模型适配器
通过引入 NtUA，一种噪声容忍的无监督适配器，在大规模视觉语言模型中实现了卓越的性能，通过少量未标记的目标样本学习优越的目标模型，并通过知识蒸馏纠正伪标签和缓存权重，从而在多个广泛采用的基准测试中实现了一致的卓越表现。
PDF9 months ago
双对齐下的上下文感知视觉 - 语言模型提示调优
利用双重对齐提示调整 (DuAl-PT)，结合大规模视觉语言模型和预训练大型语言模型，在少样本识别和基于新样本泛化上取得了卓越的性能，为未来研究提供了强有力的基准。
PDF10 months ago
ProbVLM：基于概率的适配器用于冻结的视觉语言模型
该研究提出了 ProbVLM，一种新的方法来评估大规模视觉语言模型的多模态嵌入不确定性，以及如何利用该不确定性来提高主动学习和模型选择的效果。
PDFa year ago
CVPR元学习视觉语言模型以发现视频中的命名实例
提出了在大规模视觉 - 语言模型基础上，通过元学习实现个性化视频搜索的方法，其中用于表示每个实例的嵌入同时结合了共享和全局类别特征，并在 This-Is-My 和 DeepFashion2 数据集上展示出超过现有技术 15% 的相对改进。
PDFa year ago
CLIP 对红色圆圈有何了解？用于 VLM 的视觉提示工程
本文探讨了在图像空间中使用视觉提示工程来解决计算机视觉任务的想法，并发现了 CLIP 的一种新能力，通过简单地在物体周围画一个红圈，即可引导模型的注意力，同时保留全局信息。通过这种简单的方法，在零样本引用表达理解中实现了最先进的效果，并在关
PDFa year ago
CVPR针对视觉语言模型的任务残差调节
本篇论文提出了一种名为 Task Residual Tuning 的新的视觉语言模型的高效调整方法，其中通过保留原有分类器权重的方式，针对目标任务调整一组先独立参数作为原有分类器的残差，以实现可靠的先验知识保存和灵活的任务特定知识探索，并在
PDF2 years ago
CVPR零样本语义分割解耦
本文提出了一种新的基于分割标签的应对零样本图像语义分割任务的方法 ——ZegFormer，采用无类别分组任务（class-agnostic grouping task）和基于分割标签的零样本分类任务（zero-shot classifica
PDF3 years ago