本文提出了一个大规模的全景视频可视质量评估数据集VQA-OV，其中包括60个参考序列和540个受损序列，并通过挖掘数据集发现全景视频的主观质量确实与人类头部和眼部移动相关，并开发了一个Deep Learning模型，将头部和眼部移动嵌入目标VQA，实验结果表明，我们的模型显著改善了全景视频VQA的最新性能。

Jul, 2018

本文研究音频-视觉深度显著性预测，介绍了一种称为“DAVE”的动态显著性预测的概念简单而有效的深度音频-视觉嵌入，并与我们建立的音频-视觉注视数据集“AVE”相结合。

May, 2019

介绍了STAViS，一种空时音频视觉显著性网络，通过单个网络利用视觉显着性和听觉功能来解决视频中的显著性估计问题，并在多个数据集上性能表现出色，可以用于估算野外环境下的显著性映射。

Jan, 2020

提出了ViNet架构用于音频-视觉显著性预测，其采用全卷积编码器-解码器架构，利用动作识别网络的视觉特征来编码，通过三线性插值和3D卷积生成显著性图，没有使用音频作为输入，但是在9个不同的数据集上，仍然优于现有的音频-视觉显著性预测模型，而且还超过人类在某些度量标准上的表现，此外，还探索了一个在解码器中将音频特征纳入架构中的变体，得出了一些有趣的结论。

Dec, 2020

本文通过建立大规模的多人面部视频音频条件下的视线跟踪数据库，研究声音对多人面部视频视觉线索的影响，并提出了一种新的多模式视频显着性模型，包括三种分支：视觉，音频和面部，实验结果表明该方法胜过11种现有的显着性预测方法。

Mar, 2021

介绍了视听感知、跨模态感知和协同感知在计算机视听学习中的重要性，综述了该领域的最新发展，并提出了关于场景理解的新视角和未来发展方向。

Aug, 2022

本研究提出了一种考虑视听语义交互和一致性感知的一致性感知音视频显著性预测网络（CASP-Net）以及用于改善不一致性的新颖一致性感知预测编码，使用多尺度音视频信息，生成显著性地图。该方法在六个具有挑战性的视听跟踪数据集上性能表现优于其他最先进的方法。

Mar, 2023

本研究首次建立了一个大规模的音视频品质评估数据集，用于评估全向视频的音视频质量。通过多模态融合策略，设计了三种基准方法来评估全向音视频的品质，并验证了融合方法在全向体验评估中的有效性。

Jul, 2023

建立了最大的音频-视觉全景视频显著性数据集（AVS-ODV），分析了观察者在不同音频模式和视觉场景下的视觉注意行为，并构建了一个新的基准模型和数据集以促进未来的研究。

Nov, 2023

通过开发头部和眼部跟踪数据集，本研究揭示了在多个用户和视频的实验设置中，眼球注视相对视野下方固定位置的一致偏移现象，从而挑战了视野中心位置的注视注意力按照高斯分布递减的广泛假设，并提供了根据给定头部或眼部坐标和预生成的视频注视分布图集生成注视分布的脚本。

Mar, 2024