visual-language model | BriefGPT

关键词visual-language model

搜索结果 - 11

基于知识的视觉语言模型调整策略：为住院医生培训构建筛查乳腺 X 线照片的独特案例集
本研究介绍了一种旨在将可见语言模型（VLM）巧妙地应用于医学领域的框架，采用选择性采样和难负样本挖掘技术以提升检索任务的性能。在两个不同的 VLM（MedCLIP 和 ALBEF）上实施我们的方法，并使用包含乳房 X 光和其相应报告的两个大
PDFa month ago
多模态对比学习的 CLIPLoss 和基于范数的数据选择方法
数据选择是大规模视觉 - 语言模型预训练（例如 CLIP）中的一个核心问题，本文提出了两种新方法：一种是利用 negCLIPLoss 作为质量测量的 CLIP 损失启发式方法，另一种是使用 NormSim 度量预训练数据和目标数据之间的相似
PDFa month ago
LOC-ZSON: 基于语言驱动的物体中心化零样本物体检索和导航
本文介绍 LOC-ZSON，一种用于复杂场景中物体导航任务的新颖语言驱动的面向物体的图像表示方法。我们提出了一种面向物体的图像表示和对应的损失函数，用于视觉语言模型（VLM）的微调，能够处理复杂的物体级别查询。此外，我们设计了一种基于 LL
PDF2 months ago
FSMR：一种基于特征交换的多模态推理方法，结合文本和视觉线索
该论文介绍了一种名为特征交换多模态推理（FSMR）模型的方法，通过特征交换来增强多模态推理，提供了图像和文本的有效特征表示，并加强了模型对图像和文本之间相互作用的理解，通过多模态交叉注意机制实现了文本和视觉信息的联合建模，实验证明 FSMR
PDF3 months ago
通过视觉语言集成实现零样本人 - 物体交互检测
本研究提出了一种名为 KI2HOI 的新型框架，用于有效整合视觉语言模型的知识，从而改进零样本人物 - 物体交互检测。通过采用动词提取解码器将相应的动词查询转换为特定交互类别的表示形式，设计了基于视觉语义的动词特征学习模块。通过有效的加性自
PDF4 months ago
Popeye: 面向遥感图像的多源船舶检测的统一视觉语言模型
提出了一种名为 Popeye 的新型统一视觉 - 语言模型，用于从遥感图像中进行多源船只检测，通过设计一种新的图像 - 指令 - 答案方式和跨模态图像解释方法，实现了各种船只检测方式的统一标签，同时利用知识迁移机制和分段任意模型 (SAM)
PDF4 months ago
使用 CLIP 的随机词数据增强技术进行零样本异常检测
提出了一种利用视觉 - 语言模型 CLIP 作为零样本异常检测的数据源的新方法，通过在滑动窗口方式下对图像的每个部分应用提示引导分类，通过生成文本嵌入来训练前馈神经网络，从 CLIP 的嵌入中提取正常和异常特征，实现了无需训练图像的无类别异
PDF10 months ago
交互感知触发的零样本时空动作检测
本文通过使用预训练的视觉 - 语言模型提取图像和文本特征，以及对这些特征进行建模，最终实现零样本的时空动作检测。实验结果表明，本文的交互模块和提示使得视觉 - 语言特征更好地对齐，从而实现了优秀的检测准确率。
PDFa year ago
CVPR知识引导下的视觉语言提示调优
本文提出了一种新的知识引导背景优化（KgCoOp）方法，通过减少学习提示和手工提示之间的差距，增强了学习提示在未知类别任务中的泛化能力，以实现更好的性能表现和更少的训练时间。
PDFa year ago
使用冻结视觉 - 语言模型进行开放式语义分割
本文提出了 Fusioner 方法，将自然语言和视觉特征融合用于零样本学习，且通过在多个自监督模型上进行实验展示了 Fusioner 的普适性。实验结果表明该方法表现优异且鲁棒性强。
PDF2 years ago
IJCAI基于声明的提示调整技术用于视觉问答
该论文提出了一种名为 DPT 的创新型视觉语言模型微调范式，它通过文本调整和任务调整重新定义视觉问题的目标函数形式来共同优化 VQA 模型的预训练和微调目标，以提高预训练 VL 模型对于下游任务的有效适应性，实验结果表明，DPT 在准确性方
PDF2 years ago