AAAIDec, 2021

分离声音和像素，再构建事件

PDF
TL;DR本文提出了一个基于 Event Decomposition Recomposition Network（EDRNet）框架，解决监督和弱监督下的 Audio-Visual 事件（AVE）定位问题。 在 AVE 数据集上实验表明，所提出的集体框架优于现有技术。
audio-visual event localizationevent decomposition recomposition networkevent progress checkpointsstate machine based video fusionbag to instance label correction
发现论文，激发创造
  • 利用视频级事件语义一致性实现音视频事件定位

    本文提出了一种新颖的视频级语义一致性引导网络，包括事件语义一致性建模模块和两个组件，交叉模态事件表示提取器和内部模态语义一致性增强器，同时增加负样本对过滤损失和平滑损失来进一步提高方法的有效性，以在 AVE 数据集上优于当前最先进的方法，在全面和弱监督设置下均表现出色。

    Oct, 2022

  • 无约束视频中的视听事件定位

    本文介绍了一个新的无约束视频中的音频视觉事件定位问题，使用 AVE 数据集进行研究，提出了使用双模态残差网络结合音频引导视觉注意力机制处理音频视觉相关性的方案，并针对跨模态定位提出跨模态距离学习网络。实验结果表明，联合建模听觉和视觉模型优于独立建模，学习到的注意力可以捕捉声音对象的语义，音频视觉融合的时序对齐很重要，所提出的 DMRN 在融合音频视觉特征方面非常有效，两个模态之间的强相关性使跨模态定位成为可能。

    Mar, 2018

  • 双模态 seq2seq 网络用于音频 - 视觉事件定位

    本文介绍了一种名为 AVSDN 的深度神经网络，通过联合考虑每个时间段的音频和视觉特征作为输入，以序列到序列的方式学习全局和局部事件信息，在完全监督或弱监督设置下获得了良好的结果，并在音频视觉事件定位方面优于最近的深度学习方法。

    Feb, 2019

  • 通用事件边界检测的端到端压缩视频表示学习

    该研究提出了一种基于压缩视频表示学习的端到端事件边界检测新方法，该方法利用压缩域中的丰富信息进行特征提取和边界检测，并在 Kinetics-GEBD 数据集上进行了广泛的实验，取得了与最先进方法相当的结果，并具有更快的运行速度。

    Mar, 2022

  • 通过超网络提高基于事件的视频重建的性能

    本研究提出了一种基于动态神经网络架构的事件重建算法 HyperE2VID，使用超网络和动态卷积生成自适应滤波器，并结合上下文融合模块，以从事件体素网格和先前重建的强度图像中获得信息，采用课程式学习策略来训练网络，实验结果表明，HyperE2VID 具有更好的重建质量，参数更少，推理时间更短。

    May, 2023

  • 事件神经网络

    该论文介绍了一种名为 EvNets 的新型事件神经网络，该网络利用视频数据的冗余性达到了可观的计算节省，它的每个神经元都有提供长期记忆的状态变量，使得即使相机移动较大，也能在低成本时实现高精度的推理，同时该论文在高和低水平的视觉处理领域，包括姿势识别，物体检测，光流和图像增强等领域上进行了广泛的实验，以验证该网络的有效性。

    Dec, 2021

  • 使用深度卷积神经网络和数据增强进行声学事件检测

    本研究提出了一种新的声音事件检测方法，使用卷积神经网络结合大的输入层来提取长时频结构特征，同时采用数据增强方法防止过拟合，实验表明该方法在声音事件检测上表现优异，超过了现有方法，取得了 16% 的绝对提升。

    Apr, 2016

  • 未剪辑视频中稠密定位视听事件：一个大规模基准和基线模型

    本文介绍了针对非修剪视频中具有多种类别音频 - 视觉事件的任务的挑战，提出了一个新的学习框架来解决此问题，并引入了第一个 Untrimmed Audio-Visual (UnAV-100) 数据集以验证其有效性。

    Mar, 2023

  • 重新思考带有 3D 事件表示的人体姿势估计

    通过引入两种三维事件表示方法（RasEPC 和 DEV），结合一个用于训练的合成事件数据集（EV-3DPW），本研究在人体姿势估计中取得了显著的性能提升，克服了传统图像和事件帧技术的局限性。

    Nov, 2023

  • 基于事件的动态模糊矫正学习

    本文提出了一种基于事件相机的深度学习方法，通过卷积循环神经网络和可微分方向事件过滤模块整合全局和局部尺度的视觉和时态知识，提取边界先验信息，从而达到了恢复运动模糊图像的最佳质量，适用于真实世界的运动模糊问题。

    Apr, 2020