visual prompting | BriefGPT

关键词visual prompting

搜索结果 - 18

CVPR引导视觉转换器的视觉提示学习
通过在输入图像中引入视觉提示信息，本研究旨在为视觉变换器模型设计学习视觉提示，以引导其注意力集中在图像的特定区域，通过自监督学习的方式进行优化，实验结果表明该优化策略在各种预训练视觉编码器中的效果显著。
PDFa month ago
MoVL: 探索预训练模型在医学图像任务中的领域自适应应用的融合策略
对于医学图像分类，本研究引入了视觉提示技术（VP）以填补输入医学图像与常规预训练视觉模型之间的差距，并通过设计包含分类损失和差异损失的联合学习损失函数来进行联合训练，命名为 MoVL（混合视觉提示和线性探测）。实验证明，MoVL 具有实现完
PDF2 months ago
发现视觉任务向量
通过分析 MAE-VQGAN 模型的激活，我们发现任务向量可用于引导网络在不提供输入 - 输出示例的情况下执行不同的任务。
PDF3 months ago
医学视觉引导（MVP）：一种用于多功能和高质量医学图像分割的统一框架
准确分割病变区域对于各种疾病的临床诊断和治疗至关重要。本研究提出了一种新颖的医学视觉提示 (MVP) 框架，借鉴了自然语言处理 (NLP) 的预训练和提示概念，通过整合 SPGP、IEGP 和 AAGP 三个关键组件，使得分割网络更好地学习
PDF3 months ago
绘制与理解：利用视觉提示使 MLLMs 能够理解您想要的内容
我们介绍了 Draw-and-Understand 项目，其中包括一种新的多模域数据集和一种具有挑战性的视觉提示基准测试。我们提出了 SPHINX-V，一种新的端到端训练的多模域大型语言模型，用于连接视觉编码器、视觉提示编码器和语言理解模型
PDF3 months ago
整片切片图像的肿瘤分割：训练还是提示？
肿瘤分割是肿瘤诊断中的关键任务，本文研究了在组织学中应用全幻灯片图像进行肿瘤分割的深度学习方法，同时利用视觉提示的新范式在三个不同的器官中展示了与传统方法相比相当甚至更好的性能。
PDF4 months ago
通过提示实现任意分词
我们提出了一个统一的、可提示的模型，能够同时分割、识别和描述任何物体。与 SAM 不同的是，我们通过视觉提示在野外构建多用途区域表示。我们使用来自具有 50 亿参数的经过预训练的 CLIP 模型的大规模分割掩码，例如 SA-1B 掩码，和语
PDF7 months ago
ViscoNet：将视觉和文本条件合并与协调，用于 ControlNet
ViscoNet 是一种新颖的方法，通过视觉提示来增强文本到图像人物生成模型，使用户可以通过参考图像指定目标对象的视觉外观，从而从图像背景中分离出对象的外观，并通过 ControlNet 分支将其注入预训练的潜在扩散模型 (LDM) 模型中
PDF7 months ago
构建大型多模态模型理解任意视觉提示
该研究介绍了一种新颖的多模态模型，可以解码任意视觉提示，通过在 RGB 图像上直接叠加视觉标记的方式，实现了对特定区域的理解，在区域理解任务上取得了最先进的性能，并提出了 ViP-Bench，一个综合评估模型在理解多个维度上的视觉提示能力的
PDF7 months ago
走向强大而准确的视觉提示
我们研究了视觉提示在强大源模型下的性能表现，并提出了一种名为 Prompt Boundary Loose (PBL) 的新技术来有效减轻在标准准确性上的次优结果，同时使用强大模型作为源模型不会丧失（甚至明显改善）其对抗性鲁棒性。在多个数据集
PDF8 months ago
AutoVP：自动视觉提示框架与基准
以視覺提示（VP）作為研究對象，本文提出了 AutoVP 框架，用於自動化 VP 設計選擇，同時評估其性能。通過對 12 個下游圖像分類任務進行綜合性能評估，實驗結果顯示 AutoVP 優於當前已知 VP 方法，並提供了高達 6.7％的準確
PDF9 months ago
约束下的重编程：重新审视彩票票据的高效可靠转移
在计算机视觉领域，本研究通过以稀疏性为约束条件，探索了基于基础模型的线性探测和视觉提示 / 重新编程这两种方法的能力，并验证了对于某些目标数据集，重新编程的稀疏模型低于重新编程的稠密模型的性能，且相应的上游性能相似，同时证明稠密模型的校准始
PDF10 months ago
视觉指令反演：通过视觉提示进行图像编辑
通过视觉提示的图像编辑方法可以实现具有竞争力的成果。
PDFa year ago
CVPR低层级结构分割的明确视觉提示
本研究提出了一种名为明确视觉提示（EVP）的新型视觉提示模型，通过引入预先训练和提示微调协议，同时从冻结的补丁嵌入和输入的高频成分中进行显式视觉内容的关注，能够有效地解决图像分割、失焦检测、阴影区域和隐藏对象等低级结构检测问题。与领域特定的
PDFa year ago
CVPR多样性感知的元视觉提示
本文提出了一种称为 Diversity-Aware Meta Visual Prompting 的有效提示方法，可将预训练模型传递到冻结的下游任务，旨在解决图像数据集多样性大的挑战性问题。该方法包括数据集多样性感知提示策略，集群下游数据集到
PDFa year ago
CVPR理解与改善视觉提示：标签映射视角
本论文讨论了思考视觉提示、标签映射和迁移学习等一系列问题，提出了 ILM-VP 和 CLIP-VP 等新的提示方法，并在多个数据集上实现了进一步提升精度的效果。
PDF2 years ago
图像修复视觉提示
本文通过在测试时间给定新任务的输入输出图像样例及一个新的输入图像，自动产生与这些样例一致的输出图像的方式，探讨了如何在没有特定任务的微调或任何模型修改的情况下，将预训练的视觉模型适应于新的下游任务，并证明了将图像修补算法训练在正确的数据上的
PDF2 years ago
探索视觉提示以适应大规模模型
通过视觉提示来适应视觉中的大规模模型，这种方法在适应预先训练模型方面非常有效。
PDF2 years ago