ECCVAug, 2016

环境声音提供视觉学习的监督

PDF
TL;DR该论文表明，可以使用环境声音作为学习视觉模型的监督信号，他们通过训练卷积神经网络预测与视频帧相关联的声音的统计摘要的过程，展示出网络可以学习传达有关物体和场景的表示，并在几个识别任务上评估了该表示，发现其性能与其他最先进的无监督学习方法相当。通过视觉化，他们还显示网络学习选择通常与特征声音相关联的对象的单元。
发现论文，激发创造
  • 从声音学习视觉：环境声音辅助视觉学习

    用环境声音作为监督信号，训练了一个卷积神经网络以预测视频帧所关联的声音的统计摘要，进而学习到了能够传达关于物体和场景信息的表示，表现与其他最先进的无监督学习方法可比。

    Dec, 2017

  • 从无标注视频中学习声音表征的 SoundNet

    通过使用大量的野外未标记的声音数据，我们利用视觉和声音之间的自然同步，使用两百万个未标记的视频学习声学表示，提出了一种学生 - 教师训练过程，将视觉知识转移到声音模态中，为声音场景 / 对象分类的标准基准提供了显着的性能提升，即使没有地面真实标签，声音网络自动形成一些高级语义。

    Oct, 2016

  • 利用立体声音进行自监督的移动车辆跟踪

    该论文提出了一种利用未标记的音频 - 视觉数据进行物体定位的系统，使用自监督方法来实现跨模态的语音定位，其在声学车辆跟踪数据集上表现卓越并可用于光照条件不佳的车辆视觉定位。

    Oct, 2019

  • 巧合、分类和巩固：学习在最小监督下识别声音

    提出一种结合机器学习中自我监督、聚类目标和主动式学习的学习框架，以改善音频表征和识别，实现新的最先进的无监督音频表征并证明了它的有效性。

    Nov, 2019

  • 看、听、学习

    探索了音视频流之间对应关系，并提出了利用该信息实现的自我监督视听学习任务，结果表明该方法成功解决了问题，并展现出良好的视听表征，可以将其应用于声音分类、物体定位和细粒度识别任务。

    May, 2017

  • 对比环境声音表示学习

    利用自监督对比技术和浅层 1D CNN 提取环境音频的显著特征，进一步使用规范相关分析（CCA）来融合来自给定音频的两种输入类型的表示，并证明融合的全局特征相对于单独的表示具有更强的鲁棒性。在 ESC-50 和 UrbanSound8K 上的评估表明，该技术能够提取环境声音的大部分特征，并分别在 ESC-50 和 UrbanSound8K 数据集上获得了 12.8％和 0.9％的改进。

    Jul, 2022

  • 视觉到声音：在野外生成自然视频音频

    该研究旨在利用基于学习的方法生成视频图像相应的声音，以此实现虚拟现实应用或为盲人提供图像的辅助访问。该研究表明，分别利用视觉图像作为输入，生成的声音是相当真实的，并且与视觉输入具有良好的时间同步性。

    Dec, 2017

  • 基于深度学习音频分类的自动驾驶车辆环境感知改进

    该文介绍了一个基于深度卷积神经网络的音频分类框架，旨在实现自动驾驶汽车的改进环境感知，并证明了相对于现有的音频分类框架，该框架在自动驾驶汽车相关声音的情况下表现更好。

    Sep, 2022

  • 通过概率空间建模的自监督神经音频视觉声源定位

    该论文介绍了一种利用 360 度图像和多通道音频信号的自监督训练方法来训练深度神经网络以区分多个声源对象的系统，旨在解决自主机器人理解周围环境的问题。

    Jul, 2020

  • 学习在视觉场景中定位声源

    本文提出一种新颖的无监督学习算法，可以通过观察声音和视觉场景对来仅仅聚焦声音源，在仅仅几个监督的情况下可以有效地纠正错误的结论并定位声音源.

    Mar, 2018