Jun, 2024

探索音频单元标记化的好处

PDF
TL;DR本文展示了在三项预测任务中使用音素单元和 DAU 分词的优势，包括字素到音素、字素到 DAU 和使用 DAU 语言建模的无监督语音生成，并且证明了分词在性能、训练和推理速度上的显著改进，同时提供了理论解释。
tokenization algorithmsphonetic unitsdiscrete acoustic units (daus)prediction tasksspeech generation
发现论文，激发创造
  • DASB -- 离散音频和语音基准

    通过发布离散音频和语音基准 (DASB)，我们研究了离散音频标记符在各种任务中的性能表现，并发现语义标记比压缩标记在大多数任务中表现更好，但语义标记和标准连续表示之间的性能差距仍然存在。

    Jun, 2024

  • 使用离散化语音单元探索语音识别、翻译和理解：一项比较研究

    通过对离散单元在端到端语音处理模型中应用的系统和全面的探索，实验证明离散单元在几乎所有设置中都可以取得相当好的结果。

    Sep, 2023

  • 无监督声学单元发现的潜在狄利克雷分配的时间扩展

    本文介绍了一种扩展 LDA 模型的方法，利用马尔可夫链来建模时间信息，从而用于语音信号的无监督单元发现。与基本的 LDA 模型相比，扩展后的模型可以更好地描述相邻单元之间的关系，从而得到更好的语音单元划分结果。

    Jun, 2022

  • 口语建模需要离散单元吗？

    本文研究了在语音语言建模中，离散与连续表示的作用，结论表明离散化具有重要作用，并在 HuBERT 特征上训练了语言模型，在 Zero Resource Speech Challenge 2021 中实现了最新的语言词汇、句法和语义方面的最佳表现。

    Mar, 2022

  • 如何从自监督模型中提取离散音频标记？

    这篇论文探讨了语义标记的最佳配置，提出了训练通用声码器的可扩展解决方案，并使用注意机制来提高语义标记在多种音频应用中的适应性和性能。

    Jun, 2024

  • 离散 SLU：自我監督的离散语音单元用于口语理解的大型语言模型

    通过将预训练的基于文本的大型语言模型（LLM）与语音输入集成，我们提出使用离散语音单元（DSU）代替连续值语音编码器输出，通过语音适配器将其转换为 LLM 的标记嵌入空间。我们使用自监督语音编码器后跟 k-means 聚类生成 DSU。所提出的模型在来自可见 / 不可见领域的语音输入上表现出强大的性能，并具有口语问答指令遵循能力。我们还探索了来自自监督语音编码器的不同层以及 Mel 频率倒谱系数（MFCC）提取的各种类型的 DSU。我们的发现表明，在口语问答任务的指令调优中，ASR 任务和数据集并不关键。

    Jun, 2024

  • 儿童语音识别的离散标记增强

    在这项研究中，我们调查了将离散语音标记整合到儿童语音识别系统中的方法，以解决数据稀缺和隐私问题，并探索了单视图和多视图策略，测试了模型的泛化能力。结果表明，儿童的离散标记语音识别系统几乎可以达到与传统方法相当的性能，并且参数减少了约 83%。

    Jun, 2024

  • 从视觉语言到学习层级离散语言单元

    本文中提出了一种通过将向量量化层整合到基于视觉语音的神经模型中来学习离散语言单元的方法。我们展示了我们的方法可以捕捉到单词级别和子词级别的单元，我们还将子词单元应用到了 ZeroSpeech 2019 挑战中，取得了较好的结果。

    Nov, 2019

  • 基于双关节分析和共现线索的无监督多模态单词发现

    通过利用音韵信息和对象信息来发现言语单元的全新无监督学习方法，能够同时根据多种模态（即视觉、触觉和听觉）使用对象信息，该方法基于非参数贝叶斯双连音分析器（NPB-DAA）发现音素和单词以及多模态潜在狄利克雷分配（MLDA）分类来自对象的多模态信息，实验表明，所提出的方法比现有基准方法具有更高的词汇发现性能。

    Jan, 2022

  • SpeechTokenizer: 面向大型语音模型的统一语音分词器

    通过对语音令牌进行编码解码架构的统一建模和分层信息表征，提出了 SpeechTokenizer，用于语音大型语言模型的训练，其在语音重构和零样本语音合成任务中表现出色，相较于传统的语义和声学令牌在建模效果上有显著优势。

    Aug, 2023