Oct, 2020

Speech SIMCLR：将对比和重构目标相结合，实现自我监督语音表示学习

PDF
TL;DR本文提出了一种名为 Speech SimCLR 的新自监督学习方法，通过对原始语音和其频谱图进行增强，结合对比损失最大化潜在空间中不同增强样本的一致性以及输入表示的重构损失函数进行训练，取得了在语音情感识别和语音识别上的良好结果。
self-supervised learningsimclrspeech representation learningcontrastive lossspeech recognition
发现论文，激发创造
  • 视觉表示对比学习的简单框架

    SimCLR 是一种简单的对比学习框架，通过定义有效的预测任务、引入可学习的非线性变换以及使用大型批次和更多的训练步骤来提高对比学习的效果，在 ImageNet 数据集上实现了比以往方法更好的自监督和半监督学习结果。

    Feb, 2020

  • CLAR: 对听觉特征的对比学习

    本文基于 SimCLR 的前期工作，提出了适用于音频数据的各种数据增强方案，并调查了它们对预测性能的影响，同时证明了采用时频音频特征训练，在监督和对比损失同时约束下的模型可以获得优秀的音频表示。在少量标注数据的情况下，该方法明显地改善了预测性能，同时比自监督训练更快地收敛并具有更好的表示能力。

    Oct, 2020

  • 自监督对比学习中的空间声音事件表征探索

    通过多通道对比学习框架（MC-SimCLR），本研究展示了一个简单的方法来对空间音频的 'what' 和 'where' 进行编码。通过从无标签的空间音频中学习联合的频谱和空间表示，MC-SimCLR 能够在事件分类和声音定位等下游任务中提高效果。

    Sep, 2023

  • 自监督语音表示学习：综述

    本论文综述了自监督语音表示学习的方法及其与其他研究领域的联系，讨论了将学习到的表示推广到语音识别以外的应用的最新研究进展。

    May, 2022

  • 音乐表征的对比学习

    本文介绍了一种基于 SimCLR 的 CLMR 框架，用于音乐领域的自监督、对比学习，采用一系列基于音频数据的增强技术，可以在无需标记的情况下学习有用的音乐表示，并在 MagnaTagATune 和 Million Song 数据集上进行了评估，在小型标记数据集下具有较高的精度。

    Mar, 2021

  • 视觉自我监督是否提高情感识别的语音表征学习？

    本研究探究了面部重建的视觉自监督方法辅助音频表示学习，提出了适用于语音表示学习的仅音频的自监督方法，比较了多任务的视听自监督与单一方式的自监督方法，发现视听自监督对于学习在噪声环境下更具有鲁棒性的特征更有益。同时，本研究发现自监督学习可以胜过全监督学习并防止过拟合，通过情感识别、自然语言识别等测试表明该方法成功提高了语音特征学习的效果。

    May, 2020

  • 基于原型动量对比学习的自监督文本无关说话人验证

    本研究针对发音者验证（SV）探索了自我监督表示学习方法，其中，提出了一种动量对比学习框架的简单对比学习方法（SimCLR），使用排队机制的 MoCo 说话人嵌入系统来维护大量负面例子，通过波形的变形处理方法等方式以规范化两个随机部分的内在发音人的变异性，进一步将提出的 MoCo 说话人嵌入引入到典型的内存银行中，并对半监督框架进行推广，取得了与现有技术相当的性能。

    Dec, 2020

  • SAMCLR：利用 SAM 进行视图采样的复杂场景对比式预训练

    在计算机视觉中，自监督对比学习通过使同一图像的不同视图具有类似的表示来实现。我们提出了 SAMCLR，它是 SimCLR 的一个附加部分，使用 SAM 将图像分割成语义区域，然后从同一区域采样两个视图。初步结果表明，在 Cityscapes 和 ADE20K 上进行预训练，然后在 CIFAR-10、STL10 和 ImageNette 上进行分类评估时，SAMCLR 不仅与 SimCLR、DINO 和 MoCo 相当，而且往往明显优于它们。

    Oct, 2023

  • 从模型学习视觉：模型对抗学习视觉

    通过合成图像和合成标题无需真实数据地学习视觉表征，SynCLR 方法在对合成图像进行对比学习的基础上，将得到的表征在多个下游任务中转移，与其他通用视觉表征学习算法相比，在图像分类任务中表现出色；此外，在诸如语义分割等密集预测任务中，SynCLR 比以往自监督方法有显著优势。

    Dec, 2023

  • CLEAR: 句子表示的对比学习

    本研究提出了 CLEAR 方法，利用多种句子级别数据增强策略来学习一种噪声不变的句子表示。通过多个实验发现数据增强的不同方法会在下游任务中带来不同的性能提升，并且本方法在 SentEval 和 GLUE 基准测试中的表现优于多种现有方法。

    Dec, 2020