Sep, 2022

音乐节奏估计的等变自监督

PDF
TL;DR本文提出了一种基于等变自监督信号来学习音频节奏表示的方法，避免了需要标注数据的缺点，而且不需要采用正则化或负采样等方法防止模型崩溃。实验证明，这种方法能够仅依靠等变自监督而获得与监督方法相当的性能，而且需要的计算资源较少，因此适用于广泛的研究社区。
self-supervised methodsrepresentation learningequivarianceaudio tempo representationsunlabelled data
发现论文，激发创造
  • 节奏与音高：自监督节奏估计的理解

    本文通过实验分析自监督的音高估计模型在节奏估计中的适用性和鲁棒性，探究了输入表示和数据分布之间的关系。

    Apr, 2023

  • 完全自监督的二分类节奏估计

    本文提出了一个解决音乐音频全局速度估计问题的方法，采用完全自监督的方法，不依赖任何人工标记数据。该方法利用通用（音乐）音频嵌入已经编码了各种属性的事实，包括关于速度的信息，使其可以方便地适用于下游任务。在与现有最先进的方法进行比较时，我们的方法表现竞争力强，尤其是在对精确速度八度的约束放宽的情况下。

    Jan, 2024

  • 时间等变对比视频表示学习

    介绍了一种新的自监督对比学习方法，旨在从未标记的视频中学习表示。该方法利用新的约束条件，以建立对时间变换等价的表示，并更好地捕捉视频动态。实验表明，时间等变表示在 UCF101，HMDB51 和 Diving48 的视频检索和动作识别基准测试中实现了最先进的结果。

    Dec, 2021

  • 利用变换不变性和等变性进行自监督声音定位

    提出一种简单而有效的自监督框架，用于音频 - 视觉表示学习，以定位视频中的声音源。通过系统地研究数据增强的效果，揭示出数据增强的组成对学习有用的表示起到了至关重要的作用，并且实验证明了该模型在两个声音定位基准测试上显著优于以前的方法。

    Jun, 2022

  • 时序自监督的音视频对比学习

    本文提出了一种自我监督学习方法，用于学习视频的表示，结合了 RGB 帧和相关的音频，通过多模式对比目标来扩展时间自我监督的音频 - 视觉设置，并提出了新的对比目标。

    Feb, 2023

  • 混合对比学习：时序的自监督表示学习

    提出了一种新的基于对比损失的无监督表示学习框架，并通过利用数据增广方案生成新样本来优化损失函数，实现混合样本的预测任务，以利用软目标进行学习。实验结果表明本方法在单变量和多变量时间序列上的表现优于其他表示学习方法，并展示了它对于临床时间序列的传递学习的好处。

    Mar, 2022

  • 移动设备自监督音频表示学习

    我们探索了可以在移动设备上部署的自监督模型来学习通用音频表示，具体而言，我们提出了利用频谱图域中的时间上下文的方法。一种方法估计从同一音频剪辑中随机提取的两个短音频片段之间的时间间隔。其他两种方法受 Word2Vec 的启发，旨在从过去和未来切片中重建时间频谱图切片，或者从当前切片重建周围切片的上下文。我们关注使用小型编码器体系结构的评估，这些体系结构可以在推理（在多个下游任务中重复使用共同学习的表示）和训练（与联合学习结合使用时捕获真实数据分布而不损害用户隐私）期间潜在运行于移动设备。我们评估了自我监督学习模型产生的嵌入质量，并表明它们可以被重新用于各种下游任务，甚至对一些任务的性能接近相似大小的全监督模型。

    May, 2019

  • 音乐相似度检索和自动标记中度量学习的自监督辅助损失

    本研究提出了一种基于自我监督学习方法的模型，通过介绍自我监督辅助损失的度量学习方法来解决基于相似性的检索挑战。实验结果表明，该方法可以增强检索和标记性能指标，可用于所有音乐曲目和部分音乐曲目的两种情况。

    Apr, 2023

  • 音乐音频表示的适当对比自监督学习策略

    本文研究了不同对比自监督学习方案学习的音乐音频表示，并在不同的音乐信息检索任务中经验性地评估嵌入向量，以分析结果并讨论对不同 MIR 任务的适当对比学习策略方向，表明这些表示传达了关于音乐的听觉特征的综合信息，尽管每个自我监督策略在某些方面的信息方面有效。

    Jul, 2022

  • LiDAR 目标检测的等变时空自监督

    基于空间和时间增强的等变学习框架，通过鼓励平移、缩放、翻转、旋转和场景流的等变性，提高了三维物体检测的性能。

    Apr, 2024