使用深度卷积生成对抗网络学习语音数据中的本地和非本地依赖关系，并生成类似规则的表征

Sep, 2020

使用深度卷积生成对抗网络学习语音数据中的本地和非本地依赖关系，并生成类似规则的表征

Local and non-local dependency learning and emergence of rule-like representations in speech data by Deep Convolutional Generative Adversarial Networks

PDF

Gašper Beguš

TL;DR本文中提出，训练 GANs 以学习语音数据中的局部和非局部依赖关系，提供了洞察深度神经网络如何离散化连续数据以及深度卷积架构中出现类似符号化的基于规则的形态音位学过程的方式。

Abstract

This paper argues that training gans on local and non-local dependencies in speech data offers insights into how deep neural networks disc

gans neural networks speech data phonological processes morphophonological processes

发现论文，激发创造

探索生成对抗网络如何学习音位表示

本文探讨了生成对抗网络（GANs）如何学习语音现象的表示方法。我们分析了 GANs 如何通过应用 ciwGAN 架构（Begus 2021a）对法语和英语元音中的对比和非对比鼻音进行编码，并且讨论了训练数据频率在语音特征学习中的作用。

May, 2023

为语音生成与转换学习潜在表征

使用变分自编码器实现了对自然语音生成过程的建模与学习，获得了较大突破。利用学习的潜在空间算术操作，实现了对语音的音素内容或说话人身份的无监督修改，无需平行监控数据。

Apr, 2017

用神经隐马尔可夫模型学习离散语音表示的依赖关系

本文研究了语音感知的分段本质，并提出了一种基于神经隐马尔科夫模型的学习方法，该方法应用于离散的隐变量模型以及自监督学习中，模型中加入了模型变量之间的关联性，从而有效提高了模型的性能。

Oct, 2022

SEGAN: 语音增强生成对抗网络

本研究提出使用生成对抗网络进行语音增强，通过训练模型使其在波形级别对 28 个说话人和 40 种不同噪声条件进行增强，目的是解决当前技术只能处理少量特定噪声条件和依赖于一阶统计量的问题，实验证明该模型的可行性和有效性，未来可以进一步探索生成性结构用于提高语音增强的性能。

Mar, 2017

LoCo: 本地对比度表示学习

本文针对现有无监督对比学习算法存在的局部学习和全局学习性能差异的问题，提出了一种新的解决方案，即将本地块重叠并堆叠在一起以增加解码器深度，并为上层块隐含地向下层块发送反馈。通过在 ImageNet 中的实验以及直接使用 readout 特征进行对象检测和实例分割等复杂下游任务，我们发现该方法可有效处理局部学习和端到端对比学习算法之间的性能差距。

Aug, 2020

全局与本地化生成对抗网络

本文提出了一个新颖的局部生成对抗网络（Localized GAN），使用局部坐标系向量化真实数据的不同局部几何变换。在正交先验的作用下避免了流形局部坍塌到低维切向子空间，降低了模式崩溃的风险。用提出的 LGAN 训练分类器不仅能获得更优结果，而且分类结果是在流形中的局部连续性解释，与拉普拉斯 - 贝尔特拉米算子密切相关。

Nov, 2017

融合生成对抗网络的统计参数语音合成

本文介绍了一种使用生成对抗网络（GAN）的统计参数语音合成方法，相比于传统的最小生成误差训练算法，该方法能够更自然地生成语音波形，并有效缓解了生成语音参数的平滑问题。我们还研究了不同 GAN 之间的差异，并发现最小化 Earth-Mover 距离的 Wasserstein GAN 可以最大程度地提高合成语音的质量。

Sep, 2017

本地可塑性规则可使用自监督对比预测学习深度表征

这篇论文提出了一种受到神经科学和自监督深度学习最新进展启发的学习规则，使用局部，赫布规则进行权重更新，并具有深度分层的图像、语音和视频表示。

Oct, 2020

基于图结构数据的深度卷积网络

本文介绍了一种将谱网络与图估计过程相结合的方法，用于构建小学习复杂度和处理没有强规律的领域的深层神经网络，并在大规模分类问题中测试并达到更好的性能。

Jun, 2015

终结端到端：隔离梯度学习表征

提出了一种新颖的基于深度学习的本地自监督表示学习方法，该方法不需要标签，也不需要端到端反向传播，而是利用数据中的自然顺序进行。该方法充分利用神经网络的生物学原理，将深度神经网络分成一堆梯度隔离的模块，每个模块都被训练成最大限度地保留其输入信息，以期创建具有自监督表示学习的深度神经网络，并在音频和视觉领域的下游分类任务中获得了高竞争结果。同时，该方法能够异步优化模块，允许在未标记的数据集上进行大规模分布式训练。

May, 2019