Aug, 2023

EPCFormer：用于通用参考视频目标分割的表达提示协作转换器

PDF
TL;DR基于音频和文本之间的语义等价理解和音频、文本、视频特征之间的深度交互，我们提出了一种基于表达协作 Transformer（EPCFormer）的通用架构，并引入了表达对齐机制和表达 - 视觉注意机制，以实现音频和文本对象之间的高准确定位和分割，从而在两个相关任务上取得了最新的结果。
audio-guided video object segmentationreferring video object segmentationexpression prompt collaboration transformerexpression alignmentexpression-visual attention
发现论文，激发创造
  • VPUFormer: 交互式图像分割的视觉提示统一变压器

    该论文提出了一个简单但高效的视觉提示统一变压器，利用更深入的交互来提高图像分割性能，并使用高斯映射生成一个统一的一维向量来捕获用户的意图，并利用用户反馈逐渐改进候选语义特征，从而逐步提高图像分割性能。

    Jun, 2023

  • 使用语言查询进行视频对象分割

    该论文提出了一种基于 Transformer 的简单统一框架 ReferFormer，用于视频对象分割的跨模态任务。该方法将语言视为查询，直接关注视频帧中与查询最相关的区域，并将所有查询都强制找到所需对象，最终将它们转换为捕获关键的对象级信息的动态卷积核，用于从特征映射中生成分割掩码，因此可以极大地简化管道并显著区别于先前的方法。

    Jan, 2022

  • AVSegFormer: 基于 Transformer 的音视频分割

    本文提出了一种基于 transformer 架构的音视频分割（AVS）框架 AVSegFormer，该框架引入了音频查询和可学习查询，利用注意力机制实现选择性关注有关的视觉特征，并使用中间 mask 损失增强了解码器的监督，有效解决了音视频分割任务中的重要挑战，实验结果表明，AVSegFormer 在 AVS 基准测试中取得了最佳性能。

    Jul, 2023

  • 全程 Transformer 装备的端到端指代视频物体分割

    提出了一种基于 transformers 的完全建立在 Referring Video Object Segmentation 任务上的框架，通过学习 mask 序列解决视频中物体的分割问题，并通过 Stacked Transformer 来捕捉物体级别的空间上下文。

    Sep, 2023

  • 声音提示分割是可推广的音频 - 视觉源定位器

    通过引入编码 - 提示 - 解码范式，本研究关注零样本和少样本情景下的视听定位和分割任务，并通过构建语义感知的音频提示和相关适配器，实现了在数据稀缺和数据分布差异方面的优越性能。

    Sep, 2023

  • 通用前景分割的显式视觉提示

    该论文提出了一个基于预训练及显式视觉提示（EVP）的统一框架，用于多个前景分割任务，其性能优于全调参及其他节约参数细调的方法，并展示了该方法在不同架构、预训练权重和任务上的可扩展性。

    May, 2023

  • 使用实体提示进行语言及视频预训练

    本文提出了一种高效且有效的视频和语言预训练框架 ——Align and Prompt，通过提出视频 - 文本对比（VTC）损失和提示实体建模（PEM）任务来更好地跨模态对齐，从而学习精细的区域 - 实体对齐，与以前的方法相比取得了显着性能提升。

    Dec, 2021

  • EVF-SAM: 文本引导片段任意模型的早期视觉语言融合

    利用多模态提示和视觉 - 语言模型，本文介绍了一种简单而有效的基于早期视觉 - 语言融合的提及分割方法，EVF-SAM，它能以较少的参数获得比以往的大型多模态模型更好的性能，用于提高 Segment Anything Model (SAM) 在提及分割任务上的表现。

    Jun, 2024

  • GroPrompt：用于参考视频对象分割的高效基于上下文提示和适应性

    该研究提出了一种基于 Grounded Prompting (GroPrompt) 框架的高效适应基础分割模型来解决仅通过弱监督信息进行 Referring Video Object Segmentation (RVOS) 的问题，并提出了 Text-Aware Prompt Contrastive Learning (TAP-CL) 方法来增强位置提示和指代句子之间的关联。实验证明，该 GroPrompt 框架在标准 RVOS 基准测试中表现出竞争力，仅需边界框的弱监督信息即可。

    Jun, 2024

  • 低层级结构分割的明确视觉提示

    本研究提出了一种名为明确视觉提示（EVP）的新型视觉提示模型，通过引入预先训练和提示微调协议，同时从冻结的补丁嵌入和输入的高频成分中进行显式视觉内容的关注，能够有效地解决图像分割、失焦检测、阴影区域和隐藏对象等低级结构检测问题。与领域特定的解决方案相比，EVP 在所有这些问题上都表现出良好的统一性能、更高的检测准确率和更少的可调参数量。

    Mar, 2023