Sep, 2024

AIM 2024视频显著性预测挑战赛：方法与结果

HTML
PDF
TL;DR本研究聚焦于AIM 2024视频显著性预测挑战赛，解决了预测视频序列准确显著性图的问题。作者介绍了一种全新的大型音视频鼠标显著性（AViMoS）数据集，该数据集包含1500个视频，经过70多名观察者验证，表现出高一致性。最终结果显示参与团队的解决方案在多个质量指标上进行了评估，数据已公开发布，为相关领域提供了重要的研究资源。
发现论文，激发创造
  • CAT2000：用于推动显著性研究的大规模注视数据集

    对当前显著性模型问题的深入洞察及更好的测量方法，如通过记录120个观察者在查看了包含4000幅图像的数据集时的眼动数据、分析数据集的基本特性、比较一些成功模型等，可帮助推进下一代显著性模型的研究，并有助于进行视觉注意力的行为研究。

    May, 2015

  • 自然视频显著性预测的深度学习

    通过使用新的深度学习技术，本文旨在检测自然视频中的显著区域。首先预测视频帧中的显著补丁，然后基于它们构建预测的视觉注视地图。我们展示了通过更改优化网络参数的数据选择方式，可以将计算成本节约多达12倍。将RGB值的深度学习方法扩展到具有特定性的视频以利用人类视觉系统对残留运动的敏感性。在两个公开可用数据集上进行实验，并展示了较高的准确度和AUC度量。

    Apr, 2016

  • Saliency Revisited: 鼠标移动与凝视的分析

    通过对视觉显著性预测的量化评估，本文探讨最新挑战，包括对模型训练和评估的鼠标跟踪数据和眼动跟踪数据质量的比较，提出了一种考虑文本、面部和对象属性等背景信息的评估方法，并发现在所有测试的注释中没有单一的模型表现最佳。

    May, 2017

  • 重访视频显著性: 一个大规模基准和一个新模型

    该研究提出了一种基于注意力机制增强的CNN-LSTM网络架构，可用于动态视频场景下显著性学习，在DHF1K数据集上取得了优于其他竞争者的性能表现。

    Jan, 2018

  • DAVE: 动态显著性预测的深度音视频嵌入

    本文研究音频-视觉深度显著性预测，介绍了一种称为“DAVE”的动态显著性预测的概念简单而有效的深度音频-视觉嵌入，并与我们建立的音频-视觉注视数据集“AVE”相结合。

    May, 2019

  • 学习预测显著面孔：一种新的视听显著性模型

    本文通过建立大规模的多人面部视频音频条件下的视线跟踪数据库，研究声音对多人面部视频视觉线索的影响，并提出了一种新的多模式视频显着性模型，包括三种分支：视觉，音频和面部，实验结果表明该方法胜过11种现有的显着性预测方法。

    Mar, 2021

  • 全景视频的视听显著性

    建立了最大的音频-视觉全景视频显著性数据集（AVS-ODV），分析了观察者在不同音频模式和视觉场景下的视觉注意行为，并构建了一个新的基准模型和数据集以促进未来的研究。

    Nov, 2023

  • SalFoM: 动态视频基础模型的显著性预测

    使用视频基础模型，我们引入了SalFoM，一种新颖的编码器-解码器视频Transformer架构，通过特征提取器UnMasked Teacher（UMT）和包含局部感知的时空Transformer的异构解码器，从多个角度融合局部和全局时空信息以生成最终的显著性图，并在DHF1K、Hollywood-2和UCF-Sports这些具有挑战性的VSP基准数据集上进行定性和定量实验证明了我们提出的模型相对于先进方法的优越性。

    Apr, 2024

  • 音频如何影响全景视频中的视觉注意

    本研究探讨了音频与视觉在全景视频（ODVs）中的联合影响，以提高用户在虚拟和增强现实应用中的参与度。通过构建新的音视频显著性数据库AVS-ODV及提出OmniAVS模型，研究表明音频显著影响视觉注意力，并且所提出模型在ODV显著性预测中表现优异，对未来研究具有重要推动作用。

    Aug, 2024

  • CaRDiff：基于扩散的显著性预测视频显著目标排序思维链推理

    本文解决了现有视频显著性预测方法没有充分利用语言推理过程的局限性。提出的CaRDiff框架通过结合多模态大语言模型和扩散模型，创新性地引入了VSOR-CoT方法，有效提高了对视频内容的显著性判断。研究结果显示，CaRDiff在MVS数据集上的表现优于现有的先进模型，并在DHF1k数据集上表现出跨数据集的强大能力。

    Aug, 2024