具有可变形注意力的自主视频目标分割中蒸馏学习

Jan, 2024

具有可变形注意力的自主视频目标分割中蒸馏学习

Self-supervised Video Object Segmentation with Distillation Learning of Deformable Attention

Quang-Trung Truong, Duc Thanh Nguyen, Binh-Son Hua, Sai-Kit Yeung

TL;DR基于可变形注意力的自监督视频对象分割方法在学习对象表示时能够有效地适应时间变化，通过将可变形注意力集成到蒸馏损失中，我们在自监督学习框架下训练了该方法，并在包括 DAVIS 2016/2017 和 YouTube-VOS 2018/2019 等基准数据集上对其进行了定性和定量评估，实验证实了其在性能和内存使用方面的优越性。

Abstract

video object segmentation is a fundamental research problem in computer vision. Recent techniques have often applied attention mechanism to object representation learning from video sequences. However, due to tem

video object segmentation attention mechanism deformable attention self-supervised learning knowledge distillation

发现论文，激发创造

MobileVOS：实时视频目标分割，对比学习与知识蒸馏相遇

本文提出一种基于知识蒸馏与像素对比学习相结合的理论框架并使用有限内存的小型空时存储网络，实现在资源受限的设备上进行半监督视频对象分割任务，与最先进的模型相比取得竞争性的 J＆F 评估结果，但计算成本只有最先进模型的一小部分，在三星 Galaxy S22 上每帧计算 32 毫秒，并验证了该理论框架在标准 DAVIS 和 YouTube 基准测试上的有效性。

Mar, 2023

被注意力背叛：一种简洁而有效的自监督视频对象分割方法

我们提出了一个简单而有效的方法来进行自监督视频对象分割 (VOS)。我们的关键观点是，DINO 预训练的 Transformer 中具有的固有结构依赖性可以用于建立视频中的稳健时空对应关系。此外，利用这种对应线索进行简单的聚类就足以产生具有竞争力的分割结果。我们开发了一个简化的架构来应对这些挑战，利用 DINO 预训练的 Transformer 中新兴的对象性，避免了使用额外的多模态或槽关注的需要。我们的方法在多个无监督 VOS 基准测试中展示了最先进的性能，特别在复杂的现实世界多对象视频分割任务中表现出色，如 DAVIS-17-Unsupervised 和 YouTube-VIS-19。

Nov, 2023

DeVOS: 流引导的可变形变压器用于视频对象分割

结合基于记忆的匹配和运动引导传播的 DeVOS（可变形视频对象分割）架构，用于视频对象分割，实现稳定的长期建模和强大的时间一致性。

May, 2024

视频分割的密集无监督学习

本研究提出了一种新的无监督学习方法，其中使用密集特征表示直接进行卷积全制度的学习来进行视频对象分割。通过使用一个简单的规则化方案，该方法能够提高分割精度并达到快速的训练收敛。最终，该方法在标准的视频对象分割基准测试中取得了较高的精度。

Nov, 2021

用于压缩视频物体指代分割的多注意力网络

本文提出了在压缩视频数据流上进行指代视频目标分割任务的多关注机制网络和基于查询的跨模态 Transformer 模块，实现了使用单核心直接生成最终分割掩模的复杂后处理过程的目标，结果表明其有效性。

Jul, 2022

基于差异注意力的视觉对接自监督学习表示学习

本文介绍了一种可视化不同注意力的新方法 Visual Difference Attention (VDA)，并提出了一个新的学习目标 Differentiable Difference Attention (DiDA) loss，利用它来改善 SSL 模型在图像中的可视化表征。

Jun, 2023

通过联合重新识别和关注力感知掩模传播实现视频对象分割

本研究提出了一种使用深度循环网络实现同时分割和追踪视频中物体的方法，结合了时间传播和重新识别模块，以及基于注意力的循环蒙版传播方法，取得了在 DAVIS 2017 基准测试（test-dev 集合）上最高的分割和边缘测量平均值（68.2），优于同一分区上获胜解决方案的全球平均值（66.1）

Mar, 2018

基于注意力引导的时间连续视频对象抠图

该论文提出了一种基于深度学习的新型视频对象抠图方法，能够实现时间上连贯的抠图效果，并使用注意力机制的时间聚合模块在特征空间中计算相邻像素沿时间轴的时序相关性，同时利用带有稀疏用户注释关键帧的先进视频对象分割网络进行细调以解决抠图问题。实验结果表明，该方法能够生成适用于各种视频的高质量阿尔法抠图。

May, 2021

DVOS: 自我监督的密集纹理视频目标分割

使用多任务学习的扩散方法，我们发展了一种半自监督时空方法，通过模拟真实视频的光流和运动来合成可用于训练 DVOS 模型的计算机注释视频；在小麦头部分割方面，我们提出的方法表现出较高的性能，当在无人机捕捉的外部测试集上进行测试时，Dice 分数达到了 0.82。

Jun, 2024

视频中音视频对象的自监督学习

本文提出了一种使用自监督学习把视频转化成一组离散的音频 - 视觉物体的模型，并通过注意力定位和分组声源，光流聚合信息等方式提高了模型的准确度。实验表明，本模型学习到的音频 - 视觉对象嵌入可用于解决多说话者音源分离、说话人定位、音频 - 视觉数据校正和活跃说话人检测等四个任务，同时，使用非人类演讲者数据表明了本方法的可泛化性和比其他相关研究更好的效果。

Aug, 2020