referring video object segmentation | BriefGPT

关键词referring video object segmentation

搜索结果 - 19

CVPRGroPrompt：用于参考视频对象分割的高效基于上下文提示和适应性
该研究提出了一种基于 Grounded Prompting (GroPrompt) 框架的高效适应基础分割模型来解决仅通过弱监督信息进行 Referring Video Object Segmentation (RVOS) 的问题，并提出了
PDF16 days ago
CVPR 2024 PVUW 工作坊 MeViS 跟踪竞赛第一名解决方案：基于动作表情的视频分割
运动表达引导的视频分割是新兴领域，对引用的视频对象分割 (RVOS) 提出了许多新的挑战。本技术报告调查和验证了静态主导数据和帧采样对这一具有挑战性的任务的有效性。我们的解决方案在比赛阶段达到了 0.5447 的 J&F 得分，在 PVUW
PDF23 days ago
CVPR 2024 PVUW 工作坊 MeViS 赛道冠军解决方案：运动表情引导的视频分割
提出了一种使用预训练的视觉 - 语言模型作为骨干网络的方法，着重于增强跨模态特征交互，在视频目标分割中取得了显著的改进效果。
PDFa month ago
利用视觉语言预训练模型驱动参考视频对象分割
该研究提出了一种名为 VLP-RVOS 的框架，通过使用先前训练的 Vision-Language Pre-trained (VLP) 模型的对齐 VL 特征空间，解决了 Referring Video Object Segmentatio
PDF2 months ago
朝向时间一致的参考视频对象分割
提出了一种新的端到端的 R-VOS 范例，通过显式建模时序实例一致性与指定分割相结合，引入了一种新颖的混合内存，用于在鲁棒的时空匹配和传播中促进帧间协作；通过多粒度的关联将具有高质量参考掩码的帧的特征传播到其余帧，以实现时间一致的 R-VO
PDF3 months ago
探索预训练的文本到视频传播模型用于视频对象分割
探索了基于预训练的文本到视频 (T2V) 扩散模型产生的视觉表示，在视频理解任务中的应用，通过验证经典的参考视频对象分割 (R-VOS) 任务的假设，介绍了一个名为 “VD-IT” 的新框架，结合了预训练的 T2V 模型，利用文本信息作为条
PDF4 months ago
第一名解决方案：第五届 LSVOS 挑战赛 - 视频对象引用分割
通过将 RVOS 模型与 Two-Stage Multi-Model Fusion 策略结合，提出了一种有效的模式，该模式在 Ref-Youtube-VOS 验证集上实现了 75.7% 的 J&F，在测试集上实现了 70% 的 J&F，在
PDF6 months ago
全程 Transformer 装备的端到端指代视频物体分割
提出了一种基于 transformers 的完全建立在 Referring Video Object Segmentation 任务上的框架，通过学习 mask 序列解决视频中物体的分割问题，并通过 Stacked Transformer
PDF9 months ago
ICCV学习跨模态关联性以用于有限样本的参照视频对象分割
提出了一种基于 Transformer 架构的简单而有效的模型，该模型通过新设计的跨模态亲和力（CMA）模块在很少的样本上构建多模态亲和力，从而快速学习新的语义信息，并使模型可适应不同场景，为少样本的视频目标指代分割（FS-RVOS）问题提
PDF10 months ago
EPCFormer：用于通用参考视频目标分割的表达提示协作转换器
基于音频和文本之间的语义等价理解和音频、文本、视频特征之间的深度交互，我们提出了一种基于表达协作 Transformer（EPCFormer）的通用架构，并引入了表达对齐机制和表达 - 视觉注意机制，以实现音频和文本对象之间的高准确定位和分
PDFa year ago
从弱监督的注释中学习视频物体指代分割
基于一种新的注释方案，我们提出了一种弱监督的方法，通过语言引导的动态过滤器和双层对比学习方法，实现了在不要求密集标注的情况下取得了有竞争力的性能。
PDFa year ago
ICCV基于频谱引导的多粒度视频对象分割
当前的参考视频对象分割（R-VOS）技术从编码（低分辨率）视觉语言特征中提取条件内核，用于分割解码的高分辨率特征。我们发现这导致显著的特征漂移，分割内核在前向计算过程中难以感知。为了解决漂移问题，我们提出了一种谱导向的多粒度（SgMg）方法
PDFa year ago
ICCV在线 Refer：基于简单的在线基准的视频对象引用分割
通过引用视频目标分割（RVOS）的方法，本研究提出了一种名为 OnlineRefer 的简单而有效的在线模型，它利用明确的查询传播来改进当前帧的引用预测的准确性和便捷性，并将其推广为半在线框架以与基于视频的主干网络兼容。在四个基准测试中进行
PDFa year ago
基于帧间交互和跨模态相关性的视频目标分割
本文提出了 IFIRVOS 框架用于改善视频中的目标分割，其中设计的插件式 Transformer 编码器中的帧间交互模块和视觉语言交互模块提高了空时特征学习和视觉和语言特征之间的相关性，从而提高了分割结果的准确性和模型的性能。
PDFa year ago
长短文本联合预测网络：应用于指代视频目标分割
本文提出了一种基于短文本表达的参考视频对象分割方法，结合长短文本表达进行联合预测，并引入了一种前向 - 后向视觉一致性损失，实现了在 A2D-Sentences 和 JHMDB-Sentences 数据集上表现出的显著性改进。
PDFa year ago
基于语义的物体聚类在视频物体分割任务中的应用
通过语义辅助对象聚类（SOC）的多模态对比监督和强调时间上的连贯性，提出了一种在视频级别视觉语言对齐的增强下，对引用视频对象分割（RVOS）的研究，有效利用间帧关系和理解对象时间变化的文本描述。进行了大量的实验，并在所有基准测试中，我们的方
PDFa year ago
CVPR语言桥接的时空交互用于参考视频对象分割
本文提出了一种利用语言作为中介桥梁的 LBDT 模块来实现更早的显式和自适应的空间 - 时间交互的方法，同时在解码阶段使用 BCA 模块进一步去噪并强调空间 - 时间一致特征，通过该方法在四个受欢迎的基准测试中取得了 6.8％和 6.9％的
PDF2 years ago
CVPR多模态变换器的端到端指代视频对象分割
本文提出了一种名为 Multimodal Tracking Transformer（MTTR）的基于 Transformer 的方法来实现 referring video object segmentation（RVOS）任务，该方法将视频
PDF3 years ago
从自上而下的视角重新思考跨模态交互，用于指代视频对象分割
该研究提出了一种基于 Transformer 的两阶段自顶向下 Referring video object segmentation 解决方案，其中构建了一组详尽的对象 tracklets，并提出了一种 Transformer-based
PDF3 years ago