Nov, 2023

R-Spin: 高效的说话人和噪声不变表示学习与声学片段

PDF
TL;DR该论文介绍了 Robust Spin（R-Spin），一种用于演讲者和噪声不变的语音表征的数据高效自监督微调框架，通过学习具有演讲者不变聚类（Spin）的离散声学单元。R-Spin 通过学习预测声学片段来解决 Spin 的问题并增强内容表征。在严重扭曲的语音情景中，与之前的最先进方法相比，R-Spin 在计算资源上减少了 12 倍，同时表现更好。该论文提供了详细的分析，显示离散单元对语音编码器训练和在多样的声学环境中提高鲁棒性的贡献。
robust spindata-efficient self-supervised fine-tuningspeaker-invariant clusteringacoustic pieces predictionspeech encoder training
发现论文，激发创造
  • 基于发音无关聚类的自监督微调，用于改善内容表示

    提出了一个新的自监督学习方法 — 发音者无关聚类 (Spin)，它使用 45 分钟的微调，能够聚类语音表示，并在原始和说话者扰动话语之间执行交换预测，从而分解说话者信息并保留内容表示，并在语音识别和声学单元发现方面优于现有方法。

    May, 2023

  • SPIRAL: 自监督扰动不变表示学习语音预训练

    本研究提出了一种名为 SPIRAL 的语音预训练方法，它采用带噪数据的教师 - 学生框架学习去噪表示，通过对输入施加随机扰动来提高噪声鲁棒性，达到了与当前最优方法 wav2vec 2.0 相当或更好的性能并大幅降低了训练成本。

    Jan, 2022

  • Spin: 一种高效的带 GPU 加速的安全计算框架

    Spin 是一种 GPU 加速的多方计算 (MPC) 框架，支持多个计算方和一个不诚实的多数敌对设置。该框架提出了针对非线性函数的优化协议，以及用于注意力的几种新颖优化，允许 Spin 在不牺牲安全性的情况下执行复杂的 CNN 训练和 Transformer 推断。综合评估表明，Spin 在深度神经网络训练方面比现有技术快 2 倍。对于一个具有 1890 万参数的 Transformer 模型的推断，Spin 的注意力特定优化可实现更好的效率、更少的通信和更高的准确性。

    Feb, 2024

  • 自监督表示在口语建模中的鲁棒性

    本文探讨了基于自监督学习的语音表征模型的鲁棒性问题，提出了一种基于伪标注技术的有效学习自监督语音表征的方法，该方法可显著提高语音编码的效果，并在语音翻译任务中得到了验证。

    Sep, 2022

  • SPIN: 结构保持内部偏移网络用于场景文本识别

    本研究介绍了一种可学习的几何无关模块 ——SPIN，该模块允许神经网络主动变换输入强度颜色，以解决场景文字识别任务中的色彩困难问题，并与现有的空间变换模块协同工作，实验结果表明，使用 SPIN 可以显著提高多个文本识别基准的性能。

    May, 2020

  • 学习不变的语音表征

    本论文探讨了如何利用无监督的声学特征来增强语音识别，其中，通过学习始终对某些变换和变形不变的音频信号表示，实现了对短小的语音样本的有效处理，从而极大地提升了元音分类的准确性并降低了样本复杂性。

    Jun, 2014

  • DinoSR：基于自蒸馏和在线聚类的自监督语音表示学习

    本研究介绍 DinoSR，一种使用自我蒸馏和在线聚类的自监督语音表示学习方法，其中结合了掩码语言建模，自我蒸馏和在线聚类，实验表明这些概念互补，并形成了语音强表示学习模型。

    May, 2023

  • 无文字自学习蒸馏的噪声鲁棒感情语音对语音翻译模型

    提出了一种文本无关的声学模型与自我监督蒸馏策略相结合的噪声鲁棒表达式语音翻译 (S2ST) 模型，通过将 U2S 生成器与语音到单元翻译模型级联，可以在存在噪声的环境中生成高质量的语音，并在干净环境中保持竞争性性能。

    Jun, 2024

  • 来自离散分离自监督表征的语音再合成

    使用自监督离散表示来获取可控的语音合成的解耦表征，以及实现在轻量级语音编解码器中更好的语音质量。

    Apr, 2021

  • SpinNet：学习一种通用的三维点云表面描述符进行点云配准

    本文介绍了一个新的神经架构，称为 SpinNet，旨在提取旋转不变但足够信息丰富以达到精确配准的局部特征。通过空间点变换器和神经特征提取器，可以将输入局部表面映射到经过仔细设计的圆柱空间，并利用点卷积神经层和 3D 圆柱卷积神经层来提取紧凑且代表性的描述符进行匹配。在室内和室外数据集上进行的广泛实验表明，SpinNet 的性能优于现有的最先进技术，并在不同传感器模态下具有最佳的泛化能力。

    Nov, 2020