基于 Transformer 的高时序维度解码的视频显著性预测

Jan, 2024

基于 Transformer 的高时序维度解码的视频显著性预测

Transformer-based Video Saliency Prediction with High Temporal Dimension Decoding

Morteza Moradi, Simone Palazzo, Concetto Spampinato

TL;DR基于变压器的高时间维度解码网络（THTD-Net）是一种用于视频显著性预测的策略，通过对时态特征进行聚合，从而在常见基准测试中展现出与多分支和过于复杂模型相当的性能。

Abstract

In recent years, finding an effective and efficient strategy for exploiting spatial and temporal information has been a hot research topic in video saliency prediction (VSP). With the emergence of spatio-temporal transformers, the weakness of the prior strategies, e.g., 3D convolutiona

video saliency prediction spatio-temporal transformers temporal features transformer-based video saliency prediction high temporal dimension decoding network

发现论文，激发创造

视频显著性检测的时空特征金字塔

本研究提出了一种基于多级特征的三维卷积编码器 - 解码器构架，有效地提高了视频显著性模型的精度和实时性，压倒性地超越了现有的同类方法。

May, 2021

视觉显著性转换器

本文提出了一种基于 transformer 的纯序列转序列架构的视觉显著性检测器（VST），通过建模长程依赖关系，实现了对 RGB 和 RGB-D 显著对象检测的统一建模。实验结果表明，该方法在常用数据集上表现出色，并且提供了新的 SOD 领域的视角和 transformer-based dense prediction 模型的新范式”。

Apr, 2021

MDS-ViTNet: 基于视觉 Transformer 改进注视预测的方法

本文介绍了一种名为 MDS-ViTNet（多解码视觉变换网络）的新方法，用于增强视觉显著性预测和眼动跟踪。该方法在多个领域具有重要潜力，包括市场营销、医学、机器人技术和零售业。我们提出了一种利用 Vision Transformer 的网络架构，超越传统的 ImageNet 骨干。该框架采用编码器 - 解码器结构，其中编码器利用 Swin 变换器有效地嵌入最重要的特征。通过转换器将 Vision Transformer 的层转换并无缝集成到 CNN 解码器中，从而实现了该过程。编码器 - 解码器方法能够最小化原始输入图像的信息损失。解码器采用多解码技术，利用双解码器生成两个不同的关注度图。通过附加的 CNN 模型将这些图合并为单一输出。我们训练的模型 MDS-ViTNet 在多个基准测试中实现了最新的结果。为了促进进一步的合作，我们计划将我们的代码、模型和数据集开放给公众使用。

May, 2024

动态显著性预测的时空显著性网络

本研究提出了基于深度学习的时空注意力预测模型，其中采用两条流网络架构，探究了不同的信息融合机制。实验结果表明，采用运动信息可以有助于静态注意力估计，并取得了与最先进模型相竞争的结果。

Jul, 2016

TASED-Net: 用于视频显著性检测的时间聚合空间编码解码网络

TASED-Net 是一种用于视频显着性检测的三维全卷积神经网络结构，采用编码器 - 解码器结构，能够在考虑有限数量过去帧的情况下，对与运动目标相关的显着帧进行有效预测。大量实验结果表明该模型明显优于之前的方法，并且特别擅长关注显著的运动物体。

Aug, 2019

SalFoM: 动态视频基础模型的显著性预测

使用视频基础模型，我们引入了 SalFoM，一种新颖的编码器 - 解码器视频 Transformer 架构，通过特征提取器 UnMasked Teacher（UMT）和包含局部感知的时空 Transformer 的异构解码器，从多个角度融合局部和全局时空信息以生成最终的显著性图，并在 DHF1K、Hollywood-2 和 UCF-Sports 这些具有挑战性的 VSP 基准数据集上进行定性和定量实验证明了我们提出的模型相对于先进方法的优越性。

Apr, 2024

VST++：高效且更强力的视觉显著性 Transformer

我们提出了一种名为 VST++ 的有效且强大的模型，以更低的计算成本实现了比现有方法更好的性能，同时突出了其潜力。

Oct, 2023

SC-HVPPNet: 基于 CNN 和 Transformer 的空间和通道混合注意力视频后处理网络

本研究探讨了卷积神经网络 (CNN) 和 Transformer 在视频后处理中的相互作用，并提出了一种新颖的空间和通道混合注意力视频后处理网络 (SC-HVPPNet)，它可以协同地利用空间和通道域中的图像先验知识。大量实验证明，SC-HVPPNet 显著提升了视频修复质量，在 VTM-11.0-NNVC RA 配置中 Y、U 和 V 三个分量的平均比特率节省分别达到 5.29%、12.42% 和 13.09%。

Apr, 2024

VPTR 视频预测的高效 Transformer

本文提出了一个基于局部时空分离的有效空间 - 时间注意机制的 Transformer 块，用于视频未来帧预测，并构建了一个全自回归视频未来帧预测 Transformer 框架，另外还提出了一个非自回归视频预测 Transformer 框架，并引入对比特征损失来监督模型预测过程。本文是第一个在不同场景下对这两种基于注意力的视频未来帧预测模型进行正式比较的工作，所提出的模型在性能上与更复杂的现有模型竞争力相当。

Mar, 2022

视频目标分割的层次化时空 Transformer

本文提出了一种名为 HST 的半监督视频对象分割框架，使用 Swin Transformer 和 Video Swin Transformer 提取图像和视频特征，并使用内存读取操作产生层次特征以精确重构对象蒙版，该框架在处理复杂场景下具有有效性和鲁棒性，尤其是 HST-B 在多个流行基准测试中优于现有技术。

Jul, 2023