ICLRNov, 2019

从视觉语言到学习层级离散语言单元

PDF
TL;DR本文中提出了一种通过将向量量化层整合到基于视觉语音的神经模型中来学习离散语言单元的方法。我们展示了我们的方法可以捕捉到单词级别和子词级别的单元，我们还将子词单元应用到了 ZeroSpeech 2019 挑战中，取得了较好的结果。
linguistic unitsvector quantization layersneural modelsspeech unit learningsemantic image retrieval
发现论文，激发创造
  • 零语音 2020 挑战中基于向量量化的神经网络用于语音单元发现

    本文提出两种神经模型，均使用向量量化技术将连续特征映射为有限的编码，旨在利用无标签数据学习将语音的音素内容与说话人特定细节分离的离散表述。在 Zero Speech 2020 挑战赛的英语和印度尼西亚语数据上，我们的两个模型都优于 2019 年和 2020 年挑战赛的所有提交，相对提高超过 30%。

    May, 2020

  • 基于视觉的子词语音单元发现探索

    研究了如何使用卷积神经网络模型来关联原始语音波形和自然图像场景，探究了解释性的子词语音单位是如何出现的，可以深层次地理解中间层的激活模式，揭示出 Diphone 边界被表浅提取，表明对于字词的识别中该模型在利用这些事件，并提出了多个实验来研究这些事件所编码的信息。

    Feb, 2019

  • 使用离散化语音单元探索语音识别、翻译和理解：一项比较研究

    通过对离散单元在端到端语音处理模型中应用的系统和全面的探索，实验证明离散单元在几乎所有设置中都可以取得相当好的结果。

    Sep, 2023

  • 从联合音视频分析中学习类似单词的单位

    本文提出了一种通过语音信号和图像区域的语义相关性，发现连续语音信号中类似于单词的语音单元，并将其与图像区域相关联的方法。这个模型能够有效地实现一种口语语言习得的形式，不使用常规的自动语音识别或文本传输，同时丰富学习词汇的语义含义及图像联系。

    Jan, 2017

  • 基于视觉反馈的自监督语音模型中的词语发现

    本文提出了一种可视化感知的口语术语探测方法，通过对自注意力头的训练与分析发现，在自然图像与口语字幕关联的模型中具有强大的单词分割和聚类能力，并在 Buckeye 单词分割和 ZeroSpeech 口语术语探测任务上超过了所有已发表的现有方法。

    Mar, 2022

  • 利用视觉基础的语音建模词汇学习和识别

    该研究使用视觉以及语音的统计依赖关系进行词语识别，并探究其中的单复数形式和词汇竞争效应，同时研究了矢量量化在识别词语方面是否有益。

    Mar, 2022

  • 通过学习离散化的视觉口语单位单模型实现多语言视觉口语识别

    该研究探索了使用单个模型的句子级多语种视觉语音识别，通过将视觉语音单元离散化作为输入，基于自监督视觉语音模型从 5,512 小时的多语种音频 - 视觉数据上进行训练，结合曲线学习改善语音识别中的视觉信息缺失，实现了与以往特定语言视觉语音识别模型相当的性能。

    Jan, 2024

  • 基于视觉绑定、自监督的语音模型中的音节发现和跨语言泛化

    本文提出了一种自我监督语音模型训练方法，可以自动检测语音中的音节边界并对同一音节进行聚类，该模型不仅在英语上表现优异且能够泛化到其他语言，实现了零样本学习，且在四种语言上实现了词分割任务的零样本迁移，胜过了之前的最佳成果。

    May, 2023

  • 利用自监督量化神经网络实现无监督的音素和单词分割

    本文提出了利用预训练自我的向量量化神经网络来实现语音分段和聚类的无监督学习方法，并在各种任务中展示出可以在低码率下得到更好的表现的切分方法。

    Dec, 2020

  • 使用离散隐变量神经网络进行语音合成的无监督声学单元发现

    本文介绍了使用离散潜变量神经网络对无标签语音进行离散子单词建模，使用自编码器架构进行中间离散化，在训练中，根据模型的特点对语音单元重新建模，以甄别可离散化的语音特征。在测试中，离线甄别采用未知说话者的语音，通过已知目标说话者的条件下的解码来获得重构的滤波器组。最后，使用神经声码器将输出进行合成，比较分别使用分类变分自编码器（CatVAEs）, 矢量量化 VAEs（VQ-VAEs）和直通估计在两种语言上的不同压缩水平，并发现该模型可以在离散表示方面产生竞争性的合成质量

    Apr, 2019