ICMLJul, 2020

小数据中音素预测编码模型的学习分析

PDF
TL;DR本研究基于两个不同语言的数据集，研究了两种预测编码模型（APC 和 CPC）的行为，发现 CPC 模型在短时间内已经取得了更好的表现，其预测损失优化后的表现也符合语音识别领域中音素特征学习的最优化要求。
neural network modelspredictive codingphoneme discriminationlanguage acquisitiontraining dataset
发现论文，激发创造
  • 多目标自回归预测编码改进语音表示

    通过未标记的语音学习有意义的表示方法，将预测编码的培训目标应用于自回归预测编码（ARPC），并提出了一种辅助目标以提高未来帧预测任务的泛化能力和语音内容。不仅支持假设，还证明了该方法在学习含有更丰富语音内容的表示方面的有效性。

    Apr, 2020

  • 无监督分割和分类音素和单词的对比预测策略

    本文研究了基于对比预测编码 (CPC) 的自监督学习 (SSL) 方法在音素分类和音素、单词分割方面的性能。结果表明，现有算法在分类和分割性能上存在平衡。为了弥合这种差距，我们借鉴了在分割方面较好的方法，并将多级建模方法整合到 CPC 的改进版本 Aligned CPC (ACPC) 中，提高了在所有分类指标上的性能，并在单词分割方面取得了最先进的性能。

    Oct, 2021

  • 自监督预测编码模型在正交子空间中编码说话者和语音信息

    本文研究自监督语音表示的特征空间分布，通过主成分分析得出编码说话者和语音的正交子空间，提出一种新的说话者标准化方法，消除说话者信息，对于去除语音中的说话者信息的任务表现出色。

    May, 2023

  • 对比预测编码的表示学习

    本研究提出了一种普适的无监督学习方法 Contrastive Predictive Coding，通过使用强大的自回归模型在潜在空间中预测未来来提取高维数据的有用表示，以此学习有用的表示并在语音，图像，文本和三维环境中的强化学习中实现了强大的表现。

    Jul, 2018

  • 自回归预测编码的语音生成预训练

    该研究探讨使用自回归预测编码（APC）进行生成式预训练学习，以学习有意义、不具体且可传递的语音表示，并经过三个语音应用程序的转移学习实验来验证和评估其效能。该方法不仅在所有 3 个任务上优于表面特征和其他流行的表示学习方法，而且还能够减少下游标注数据大小和模型参数。同时，使用 Transformers 来建模 APC 将优于使用递归神经网络（RNN）方法。

    Oct, 2019

  • 向量量化自回归预测编码

    本文提出了一种新颖的 VQ-APC 模型，通过探究逐渐受限的模型序列，明确了学习表示的成分，同时发现存在将音素和说话者信息最大化以优化自监督目标的点。

    May, 2020

  • 无监督单词分段的分段对比预测编码

    本文提出了一个用于零资源语音处理的新的模型，称为分段对比预测编码，能够对音频信号的帧级和更高级别的分组进行编码，并将此模型用于音素和单词分割，结果在 TIMIT 和 Buckeye 数据集上显著优于现有方法。

    Jun, 2021

  • 引导式对比自监督预训练在自动语音识别中的应用

    本研究提出了一种名为 GCPC 的改进型 CPC 方法，可以注入先验知识并在 Tacotron2 上进行预训练，实验表明，相比于 CPC，该方法在德语，法语和英语等自动语音识别任务中均表现出更好的识别效果。

    Oct, 2022

  • 利用 fMRI 数据的大脑预测编码进行语言重建

    提出了一种用于神经解码和脑预测的新模型 extsc {PredFT}，它结合了主要解码网络和用于预测编码的辅助网络，并通过交叉注意力将脑预测编码表示融入主要解码网络以促进语言模型的生成过程。在最大 BLEU-1 分数为 27.8% 的自然语言理解 fMRI 数据集 Narratives 上进行了实验，取得了当前最先进的解码性能。

    May, 2024

  • 自然语言的元预测学习模型

    基于自注意力机制的大型语言模型在语言处理和自然语言本身中取得了惊人的成绩，并且在不同性质的各种任务中也取得了成绩。本文在预测编码框架内提出了一个平均场学习模型，成功地验证了其在分类手写数字和玩具以及真实语言语料库中的有效性。因此，我们的模型为研究语言处理和意想不到的普遍智能的物理和生物对应关系提供了一个起点。

    Sep, 2023