Feb, 2024

探索面向通用音频理解的联邦自监督学习

PDF
TL;DR通过将联邦学习（FL）与自监督学习（SSL）相结合，可以在不损害用户数据隐私的情况下利用音频数据进行通用音频理解。本文评估了在大规模非独立同分布（non-iid）数据生成的情况下，将特征匹配和预测式音频自监督学习技术与 FL 相结合的性能，提出一种名为 FASSL 的新型联邦自监督学习（F-SSL）框架，并通过广泛实验证明了 FASSL 的有效性和重要性，从而有助于获得最佳的全局模型。
federated learningself-supervised learningaudio datassl modelslarge-scale fl settings
发现论文，激发创造
  • 自动语音识别的联邦表示学习

    使用自监督学习和联邦学习相结合的方法，通过预训练 ASR 编码器来提高语音识别性能，并在隐私保护的条件下利用未标记语音数据集进行模型的改进。

    Aug, 2023

  • 音频自监督学习：综述

    本文综述了自监督学习在音频处理和语音处理领域中的应用，包括方法、实验和基准数据，并讨论了未来发展方向和存在的问题。

    Mar, 2022

  • FedSC: 基于非独立同分布数据的具有光谱对比目标的可证明联邦自监督学习

    最近的研究努力将自监督学习与联邦学习框架相结合。提出一种名为 FedSC 的可证明的 FedSSL 算法，基于光谱对比目标，通过周期性共享数据表示的相关矩阵，实现了跨客户数据样本的对比，改善了数据表示的质量，并部署差分隐私保护来控制额外的隐私泄露。实验证实了我们提出算法的有效性。

    May, 2024

  • 具备分歧感知的联邦自监督学习

    通过具体实验研究发现了联邦自监督学习的深入见解，并提出了一种新的方法用于解决分散数据的非独立同分布问题。该方法称为 FedEMA，它使用全局模型的 EMA 来自适应地更新客户端的本地模型，并采用动态度量模型发散的的衰减速率。实验结果表明，FedEMA 在线性评估上的性能比现有方法高 3-4％。

    Apr, 2022

  • 自监督特征适应的广义半监督学习

    通过提出自监督特征适应（SSFA）方法，解决了传统半监督学习在标记和未标记数据分布不一致时预测错误伪标签的问题，从而提高了半监督学习性能。

    May, 2024

  • LW-FedSSL：资源高效的逐层联邦自监督学习

    提出一种层次化的联邦自监督学习方法 (LW-FedSSL)，通过在 FL 环境中利用资源丰富的服务器进行全局模型训练，以及在 FL 本地模型与全局模型之间建立紧密联系的表示对齐机制，实现了与端到端 FedSSL 相当的性能，同时显著降低客户端的资源需求。实验证明 LW-FedSSL 的内存需求较其端到端对应物少 3.3 倍，并且通信成本便宜 3.2 倍。同时，还探索了一种名为 Prog-FedSSL 的渐进训练策略，其在类似内存需求的情况下，通信成本便宜 1.8 倍，优于端到端训练。

    Jan, 2024

  • SSFL: 通过个性化自监督解决联合学习中的标签不足问题

    本文提出自监督联邦学习框架（SSFL），包括标签不足、数据异构性等挑战，并提出一系列算法，如 Per-SSFL、FedAvg 和 SimSiam 等。作者还开发了一个分布式训练系统和相关评估协议，发现监督和非监督学习之间的性能差距小。

    Oct, 2021

  • 自主学习用于少样本鸟声分类

    自监督学习在音频领域具有重要潜力，本研究证明自监督学习可以在无需注释的情况下从音频记录中获取有意义的鸟类声音表示，并展示了这些学习表示能够在少样本学习情景中泛化到新的鸟类物种。另外，使用预训练的音频神经网络，在自监督学习中选择高鸟类激活窗口显著提高了学习表示的质量。

    Dec, 2023

  • 自监督语音模型在音频表示方面的功效

    本研究提出融合自监督学习语音模型嵌入的集成框架，旨在探究其在音频和非语音任务中的表示能力，实验证明该框架普遍优于当前最先进的自监督学习语音 / 音频模型，特别在面对细粒度音乐任务时也表现出强大的能力。

    Sep, 2022

  • 半监督联邦学习用于关键词检测

    本研究探讨了利用半监督联邦学习和联邦学习进行关键词识别，在服务端只有少量标注数据情况下，运用半监督联邦学习技术对未标注的数据进行识别，证明了联合设备中大量未标注的异构数据可以显着提高关键词识别模型的性能。

    May, 2023