referring image segmentation | BriefGPT

关键词referring image segmentation

搜索结果 - 36

融合与校准：一种双向的视觉语言引导的用于指代图像分割的框架
本文介绍了 FCNet（一个使用双向引导融合方法的框架），其中视觉和语言在引导角色中相互作用，旨在解决自然语言描述与像素级细节之间的关联问题，并通过在多模态特征上进行初始融合和进一步校准，提高多模态特征的质量。实验结果表明，我们的方法在多个
PDF2 months ago
HARIS：用于参考图像分割的类人注意力
本文提出了一种称为 HARIS 的指代图像分割方法，引入了类似于人类的注意机制和参数高效微调框架，通过多模态特征的反馈信号使网络专注于特定对象并丢弃无关的图像 - 文本对，同时引入了参数高效微调框架以保持预训练编码器的零样本能力，实验证明该
PDF2 months ago
空间语义循环挖掘用于指代图像分割
本研究提出了 Spatial Semantic Recurrent Mining (S extsuperscript {2} RM) 方法，用于实现高质量的跨模态融合，包括分布语言特征、空间语义递归协同解析和解析语义平衡，并结合 Cross
PDF2 months ago
CVPR弱监督参照图像分割的课程点提示
通过引用图像分割技术（RIS），本文提出了一种创新框架 Point PrompTing（PPT），并结合了多源课程学习策略来解决以往弱监督技术中面临的噪声和过度关注问题，实验证明 PPT 在 RefCOCO、RefCOCO + 和 G-Re
PDF3 months ago
利用视觉感知文本特征改进指代图像分割
提出一种名为 VATEX 的新框架，通过使用视觉感知文本特征来改进指代图像分割，在复杂场景中，通过将视觉特征与文本描述相结合，使用 CLIP 来生成初始查询，然后通过上下文理解来强制执行文本变体之间的特征相似性，并保证了语言表达的一致解释。
PDF3 months ago
标定与重建：用于指代图像分割的深度集成语言
利用 CRFormer 模型，通过连续校准多模态特征，引入语言重建模块和重建损失，解决自然语言表达的图像分割问题，并在多个数据集上表现优于现有方法。
PDF3 months ago
深度指令调优针对片段化模型
对于 Segment Anything Model（SAM）的（非）条件图像分割任务，通过研究发现，与点 - 盒引导分割相比，SAM 在文本引导任务上表现较差，因其默认的轻量级遮罩解码器中的浅层融合方案。本文提出了两种深度指令调优方法，一种
PDF3 months ago
ReMamber：基于 Mamba Twister 的图像引用分割
提出了一种新颖的 RIS 架构 ReMamber，该架构整合了 Mamba 的能力与多模态 Mamba Twister 块，并通过独特的通道和空间扭曲机制融合文本和视觉特征，在三个具有挑战性的基准测试中取得了最新的研究成果，并对 ReMam
PDF3 months ago
协作式位置推理网络用于指代图像分割
给定图像和自然语言表达式作为输入，指代图像分割的目标是将表达式所指的实体的前景掩码进行分割。本文通过采用协同位置推理网络（CPRN）中的 Row-and-Column interactive（RoCo）和 Guided Holistic i
PDF5 months ago
指代图像分割的遮罩定位
通过引入 Mask Grounding 辅助任务和跨模态对齐损失以及对应的对齐模块，提出了一种用于改善参照图像分割算法的综合方法 MagNet。该方法通过教授模型学习掩蔽文本标记与匹配的视觉对象之间的细粒度对应关系，在 RefCOCO、Re
PDF7 months ago
通过目标提示和视觉连贯性实现通用关联图像分割
提出了一种新的参考图像分割方法，通过增加明确关键提示和多模态融合聚合模块，提高了其泛化能力和处理未见过的场景的能力。
PDF7 months ago
视觉与语言的同步：用于指代图像分割的双向标记掩码自编码器
提出了一种新的双向掩蔽自编码器（BTMAE）模型，通过重建图像和语言特征中的缺失特征来学习图像与语言的上下文，并实现在复杂语句和场景中的强鲁棒性，提高推理图像分割的性能。
PDF7 months ago
MARIS: 基于共互关注特征的图像指代分割
通过引入互感关注机制来强化交叉模态融合，提出了一种新的参考图像分割方法 MARIS，借助于 Segment Anything Model (SAM)，通过两个并行分支，Vision-Guided Attention 和 Language-G
PDF7 months ago
分割、选择、校正：一种用于弱监督参考分割的框架
通过解决弱监督下的参考图像分割问题，提出了一种基于零样本学习的新型弱监督框架，通过分段、选择和修正三个步骤来获得高性能，实验结果表明该方法在弱监督下达到了与全监督方法相近的性能。
PDF9 months ago
CVPR使用 Transformer 进行对比分组的指向图像分割
在本文中，我们提出了一种使用对比式分组和 Transformer 网络 (CGFormer) 的掩模分类框架，通过基于令牌的查询和分组策略来明确捕捉对象级信息。CGFormer 通过交替查询语言特征并将视觉特征分组到查询令牌中进行对象感知的
PDF10 months ago
ICCV破碎和聚集：利用文本监督学习参考图像分割
在此研究中，我们使用弱监督学习方法，利用训练图像的文本描述作为唯一的监督来源，解决了训练数据标记成本高昂的问题，并提出了一种新模型来发现输入图像中的语义实体，并组合与文本查询相关的实体来预测指代物的掩码。我们还提出了一种新的损失函数，使得模
PDF10 months ago
ICCV利用文本监督进行参考图像分割
我们提出了一种新颖的弱监督引用图像分割 (RIS) 框架，通过将目标定位问题在分类过程中进行正负文本表达的区分来利用 RIS 中已有的引用文本提供的信息来定位目标物体。我们的框架具有三个主要创新点：借助双向提示方法协调视觉和语言特征之间的域
PDF10 months ago
ICCV超越一对一：重新思考参考图像分割
本文提出了一种双重多模态交互网络 (DMMI)，用于解决自然语言表达中引用图像分割的问题，并设计了一个新的挑战性但真实的数据集 Ref-ZOM，通过大量实验证明该方法在不同数据集上取得了最先进的性能，并且 Ref-ZOM 训练的模型能够良好
PDF10 months ago
EAVL：明确对齐视觉与语言以实现图像引用分割
通过显式对齐视觉和语言特征，我们提出了针对指代图像分割的显式对齐视觉和语言的方法（EAVL），该方法通过生成多个查询并将其转换为一系列基于查询的卷积核，在分割阶段对齐语言和视觉特征，以实现与语言相关的定位，并在 RefCOCO，RefCOC
PDFa year ago
ICCV将视觉和语言编码器融合：针对指代图像分割的参数高效调整
我们在密集预测任务和模态之间的交互方面对参数高效调整进行了调查，并且提出了一种名为 Bridger 的新型适配器，以促进跨模态信息交流并将任务特定信息注入预训练模型，并为图像分割设计了轻量级解码器，该方法在具有挑战性的基准测试中只更新了 1
PDFa year ago