我们介绍了统一显著性转换（UniST）框架，通过综合利用视频显著性预测和视频显著物体检测的关键特性，提取帧序列的表示并设计一个考虑显著性的变换器，在逐渐增加的分辨率上学习时空表示，同时结合跨尺度显著性信息生成鲁棒的表示。根据可信的实验证明，所提出的 UniST 在两个任务的七个具有挑战性的基准测试中表现优越，并且明显优于其他最先进的方法。

Sep, 2023

本研究提出了一种基于扩散架构的音视频显著性预测方法（DiffSal），使用音频和视频作为条件，通过 Saliency-UNet 网络进行渐进细化来解决显著性图的生成问题，并在六个具有挑战性的音视频基准任务中取得了优秀的性能。

Mar, 2024

该研究提出了一种基于注意力机制增强的 CNN-LSTM 网络架构，可用于动态视频场景下显著性学习，在 DHF1K 数据集上取得了优于其他竞争者的性能表现。

Jan, 2018

通过 UnIVAL 统一模型，可以有效地支持图像、文本、视频和音频等多种模态任务，并通过模型权重插值实现多模态模型融合，展示其在特定领域的分布外泛化能力。

Jul, 2023

通过提取视觉显著性信息，利用基于加权融合的视频摘要方法改进人脸防伪识别模型的性能和效率，以面向数据的方式提供一种有效的训练集，通过 CNN-RNN 架构在五个具有挑战性的人脸防伪数据集上取得了最先进的表现。

Aug, 2023

本文通过建立大规模的多人面部视频音频条件下的视线跟踪数据库，研究声音对多人面部视频视觉线索的影响，并提出了一种新的多模式视频显着性模型，包括三种分支：视觉，音频和面部，实验结果表明该方法胜过 11 种现有的显着性预测方法。

Mar, 2021

本文研究了使用双领域对抗学习算法来解决音频视觉显著性预测中源域数据分布不一致与目标域数据性能降解问题，其方法包括建立与对齐声学特征分布、跨模态自注意力模块融合声学特征至视觉特征、降低视觉特征及融合后的音视频相关性中的领域差异等。实验结果说明该方法可以缓解由领域差异导致的性能下降问题。

Aug, 2022

本文提出了一个深度学习模型，通过数据增强技术和动态显著性模型来高效地检测视频中的显著区域，该模型在 DAVIS 和 FBMS 数据集上达到了最新的性能标准。

Feb, 2017

通过将 Mamba 的高效远程依赖建模与 U-Net 相结合，我们提出了一种新颖的方法 SUM（Saliency Unification through Mamba），为不同类型的图像提供统一的模型，并通过全面的评估显示 SUM 能够适应不同的视觉特征并始终优于现有模型，从而使 SUM 成为推动视觉注意力建模的多功能且强大的工具。

Jun, 2024

对于语义分割的无监督域自适应（DAS）的研究已经很丰富，本文通过比较图像和视频领域的 DAS 方法在一系列基准数据集上的表现，发现了一些有趣的现象并开源了相应的代码库。

Feb, 2024