Nov, 2020

从音频 - 视觉空间对齐中学习表示

PDF
TL;DR介绍了一个针对学习自我监督前置任务的音频视频表示方法，通过引入 transformer 架构和空间对齐技术，提高了网络的感知和学习效率，结果表明，该方法在诸如音频视觉对应、空间对齐、动作识别、视频语义分割等多项任务中表现出良好的性能。
self-supervisedaudio-visualspatial alignmenttransformer architecturedownstream tasks
发现论文，激发创造
  • 左右分辨：学习视听的空间对应关系

    使用自监督学习的方法，提出在音频流和视觉流中，通过匹配空间信息识别声源位置，通过实验得到能够有效训练的模型并通过大规模视频数据集 YouTube-ASMR-300K 进行评估，在音视频任务中得到比监督学习和其他自监督方法更高的性能，并证明了在球面导向视屏中拓展我们的自监督方法。

    Jun, 2020

  • 时序自监督的音视频对比学习

    本文提出了一种自我监督学习方法，用于学习视频的表示，结合了 RGB 帧和相关的音频，通过多模式对比目标来扩展时间自我监督的音频 - 视觉设置，并提出了新的对比目标。

    Feb, 2023

  • 从视听一致性中学习自我中心视频的空间特征

    基于自监督方法，我们提出了一种学习表示的方法，基于主观视角视频中的空间音频 - 视觉对应关系。我们利用掩蔽自编码框架合成掩蔽的双耳音频，通过音频和视觉的协同作用来学习有用的空间关系。我们利用预先训练的特征来解决在社交场景中需要空间理解的两个下游视频任务：活跃说话者检测和空间音频去噪。通过大量实验证明，我们的特征足够通用，能够在两个公开具有挑战性的主观视角视频数据集 EgoCom 和 EasyCom 上改进多个最先进的基准模型。

    Jul, 2023

  • 通过联合视听自监督从原始音频中学习语音表示

    该研究提出了一种通过结合音频自监督和视觉自监督来训练原始音频编码器生成说话者面部图像的自监督语音表示方法，从而为音频视觉语音的自监督学习提供了潜力。

    Jul, 2020

  • 自监督视听表示学习的协同关注网络

    本文提出了一种基于自我监督和共注意力机制的框架，通过区分具有关联性的视觉和声音信息，提出了三种不同的共注意力模块以训练神经网络，并通过测试了解了该方法的广泛和可转移性，成功地在先前的任务中取得了最先进的结果，解决了多声源场景的问题。

    Aug, 2020

  • 具有对应分类器的自监督音频空间定位

    本文介绍了一种使用自监督网络进行音频空间化的方法，并使用辅助分类器和大规模视频数据集来提高性能，取得了较好的实验结果。

    May, 2019

  • 自监督同步下的音频和视频模型协同学习

    该研究通过自监督的时间同步学习模型实现音频和视频分析的目的，模型能够在没有微调的情况下有效地识别出时序同步的音频 - 视频配对，并提供了一种非常有效的初始化方式以改善基于视频的动作识别模型的准确性。

    Jun, 2018

  • 鲁棒音频视觉实例判别

    本文介绍了一种自监督学习方法，以学习音频和视频表征，并通过行动识别任务的实验验证了其解决音频 - 视觉实例区别问题和提高迁移学习性能的贡献。

    Mar, 2021

  • 利用部分监督的视听一致性生成空间音频

    该研究提出了一种音频空间化框架，利用音频和视觉组件之间的关系将单通道视频转换为双耳音频，通过在音频和视觉模态中保留左右一致性的学习策略来实现自监督学习，验证结果表明该框架在半监督和全监督方案中具有很好的效果。

    May, 2021

  • 从自然剧本知识中学习可转移的时空表示

    本研究提出了一种利用语义转录排序来增强可转移的时空表示学习的方法，通过将视觉模型与自然转录的语言知识结合起来，使视频模型能够在时间上建立背景并重塑叙述性的转录，从而实现在多样化数据集上表现出色。

    Sep, 2022