May, 2024

视频中的视觉和音频场景分类：一种基线方法和实验协议

PDF
TL;DR该研究提出了一种用于多媒体内容的特定内容验证问题的基准方法和实验方案：检测音频和视频之间的差异。通过设计和优化音频 - 视觉场景分类器，将其与使用两个模态性的已有分类基线进行比较。然后，通过将该分类器分别应用于音频和视觉模态，我们可以检测它们之间的场景分类不一致性。为了促进进一步的研究并提供一个共同的评估平台，我们介绍了一个模拟这种不一致性的实验方案和基准数据集。我们的方法在场景分类方面取得了最先进的结果，并在音频 - 视觉差异检测方面取得了有希望的成果，突显了其在内容验证应用中的潜力。
content verificationdiscrepancies detectionaudio-visual scene classifierexperimental protocolbenchmark dataset
发现论文，激发创造
  • 音频 - 视觉场景感知对话的简单基线

    本文提出了一种基于数据驱动学习的音视频感知对话基准方法，采用注意力机制从海量传感器中区分实用信号和干扰信号，实验结果表明此方法在音视频感知数据集中性能超过现有最先进方法 20% 以上。

    Apr, 2019

  • 利用视频中的音频和视觉内容进行相机模型识别

    提出了一个用于通过音频、视觉内容或两者的融合来识别设备的框架，使用了卷积神经网络进行设备识别问题的分类，并通过实验证明，在独立使用音频或视觉内容时，该框架表现出有希望的分类性能。此外，融合结果虽然并不始终超过单个模态，但展示了增强分类性能的潜力。未来的研究可以进一步改进融合过程，以在两种模式下实现持续提升的分类性能。最后，进行了统计显著性测试，对分类结果进行了深入研究。

    Jun, 2024

  • 看、听、学习

    探索了音视频流之间对应关系，并提出了利用该信息实现的自我监督视听学习任务，结果表明该方法成功解决了问题，并展现出良好的视听表征，可以将其应用于声音分类、物体定位和细粒度识别任务。

    May, 2017

  • 课程视听学习

    本文提出了一种灵活的音视频模型，通过软聚类模块作为音频和视频内容检测器，并将音视频并发的普遍属性视为推断检测内容之间相关性的潜在监督，并提出一种新颖的课程学习策略，从简单到复杂的场景训练模型，以缓解音视频学习的困难。同时，本文的音视频模型还可提供有效的单模态表示和跨模态对齐性能，进一步将训练好的模型部署到实际音视频定位和分离任务中，并显示其定位模型明显优于现有方法，基于此，我们在音频分离方面的性能也表现出色，而不需要参考外部视觉监督。

    Jan, 2020

  • 视听场景感知对话

    本论文介绍了场景感知对话任务，通过视频和音频研究场景，并在对话历史中利用上下文线索，以回答关于场景的问题；同时提出了 AVSD 数据集，并通过多项定量和定性指标评估了基础模型的表现，结果表明模型必须充分利用所有可用输入（视频、音频、问题和对话历史）才能在该数据集上取得最佳表现。

    Jan, 2019

  • 利用弱标签数据进行大规模音频视觉学习

    本文提出了一种音频视觉融合模型，该模型利用注意机制动态地结合单独的音频和视觉模型的输出来识别声音，实验证明该模型在音频场景分析和机器感知上比单模和多模融合模型具有更好的效果。

    May, 2020

  • 自监督同步下的音频和视频模型协同学习

    该研究通过自监督的时间同步学习模型实现音频和视频分析的目的，模型能够在没有微调的情况下有效地识别出时序同步的音频 - 视频配对，并提供了一种非常有效的初始化方式以改善基于视频的动作识别模型的准确性。

    Jun, 2018

  • 时序自监督的音视频对比学习

    本文提出了一种自我监督学习方法，用于学习视频的表示，结合了 RGB 帧和相关的音频，通过多模式对比目标来扩展时间自我监督的音频 - 视觉设置，并提出了新的对比目标。

    Feb, 2023

  • 野外音视频同步

    本研究提出基于 transformer 的架构和度量标准用于评估各种类别下的音频 - 视频同步，并使用新的 VGG-Sound Sync 数据集测试。结果表明，我们的模型优于先前的最先进技术。

    Dec, 2021

  • 自监督多感官特征的音频 - 视觉场景分析

    本文提出了一种融合多感官表征的方法，通过神经网络自动预测视频帧和音频的时间对齐情况，实现声音定位、视听行为识别和音频源分离等三个应用。

    Apr, 2018