文章介绍了使用语音表征学习的方法在没有标签的数据上训练语音识别模型的新方法 DeCoAR 2.0。该模型采用 Transformers 编码模型，引入了向量量化层来对语音表征进行训练，并在多个数据稀疏的场景下表现出一致的提高。

Dec, 2020

我们提出了一种新的半监督自动语音识别方法，利用表示学习从无标注音频数据中重建滤波器组特征，并使用得到的深度上下文化的声学表示训练基于 CTC 的端到端自动语音识别系统，实验表明我们的方法能够显著提高系统性能并大幅减少所需标注数据量。

Dec, 2019

本文提出了 DeLoRes，一种新的通用音频表示学习方法，基于自监督学习的方法，利用少量数据和计算资源，通过受到失真影响但包含音频样本非冗余信息的嵌入学习，实现特征的泛化，并在九种不同的分类任务上得出具有竞争力的结果。

Mar, 2022

通过收集离散声学代码并进行微调，AudioFormer 对音频分类任务提出了一种学习音频特征表示的方法。采用已有的神经音频编解码模型，生成离散声学代码并利用它们来训练掩码语言模型，从而获取音频特征表示。此外，通过采用多正样本对比学习方法，实现了多个离散声学代码在同一音频输入中的联合表示学习。实验结果表明，与传统单模音频分类模型相比，AudioFormer 在多个数据集上取得了显著提升，在某些数据集上甚至超越了音频 - 视觉多模分类模型的性能。

Aug, 2023

通过信息理论的角度研究连接主义模型（如神经网络）的灾难性遗忘问题，提出连续学习方法是在压缩中 Bayesian 混合编码和最大似然（ML）插入编码的近似，并比较其性能和限制，最终提出了一种结合了 ML 插入和 Bayesian 混合编码的新的连续学习方法。

Jun, 2020

本论文提出了基于深度神经网络的一种新型增量学习方法，该方法基于知识蒸馏并采用一种规范的方式来有效地维护旧模型的表示，以适应新任务，克服了数据访问受限导致的灾难性遗忘问题，并在标准数据集上实现了显著的准确性改进。

Apr, 2022

本文提出一个简单而有效的连续学习方法，通过测量每个样本的分类不确定性来选择历史数据进行训练，避免在设备上环境音分类时出现的计算资源限制问题，实验结果表明，该方法在分类准确性和计算效率方面优于基线模型，能有效并不断学习新类别。

Jul, 2022

提出了一种自我对比无监督信号的方法，用于学习从原始音频中去识别的 prosody 表示，可以用于语音理解的新基准测试 DAMMP，检验了该方法所学到的非 timbral prosody 子组件，已达到部分去识别的效果。

Jul, 2021

该论文引入了一种新的终身学习方案，其使用自编码器以保留以前任务的信息并控制新环境下的功能调整，从而显著减少了任务遗忘率。

Apr, 2017

本文提出了一种基于 DPP 的方法 - 记忆重放数据压缩（MRDC）来提高数据存储量以解决连续学习中过度遗忘过去的问题，并在多个任务上进行了验证，包括自动驾驶物体检测。

Feb, 2022