同时建模语音识别和合成：将词汇和亚词汇语义信息编码和解码为语音，无需直接访问语音数据

Mar, 2022

同时建模语音识别和合成：将词汇和亚词汇语义信息编码和解码为语音，无需直接访问语音数据

Modeling speech recognition and synthesis simultaneously: Encoding and decoding lexical and sublexical semantic information into speech with no direct access to speech data

PDF

Gašper Beguš, Alan Zhou

TL;DR本文旨在研究如何从原始语音中自动生成词汇语义信息，并将其应用于无人监督的语音技术和语义建模领域。作者建立了包含生产和感知原则的深度卷积神经网络，通过自动编码和分类技术实现词汇语义信息自动解码。研究结果表明该网络能够从原始语音数据中学习到独特的词汇信息，具有良好的应用前景。

Abstract

Human speakers encode information into raw speech which is then decoded by the listeners. This complex relationship between encoding (production) and decoding (perception) is often modeled separately. Here, we test how encoding and decoding of lexical semantic information can emerge au

unsupervised learning lexical semantic information deep convolutional networks acoustic lexical items speech technology

发现论文，激发创造

将语义引入语音编码器

本文提出了一种无监督的任务无关方法，将大型语言模型中的语义信息融合进入自监督语音编码器，提高了其在意图分类，名称实体识别及槽填充等方面的性能，使其达到了有监督方法同等的效果，为已有的语音编码器的无监督实现提供了可行性证明。

Nov, 2022

使用词汇化和非词汇化数据进行对话的自然语言生成

本研究提出了一种新的自然语言生成方法，使用循环神经网络进行任务导向对话的自然语言生成，它通过对齐词槽和相应值的方法，同时使用词汇化和非词汇化的组件，学习所有可用的数据，包括词槽价值对，从而生成更自然、语法更好的句子；通过迁移预训练的句子编码器中学到的权重，进一步提高了模型的性能，并获得人类评价良好的表现。

Jun, 2016

从原始音频生成口语语言模型

本篇论文介绍了一种新的学习语言的方法，通过原始音频数据及一套度量标准来自动评估学习后的音声和语言表征，为无监督下的基于文本的生成模型提供了一种替代方法。

Feb, 2021

语言表征在视觉语音信号模型中的应用

基于视觉基础的言语知觉模型，使用多层循环高速公路网络对时间性建模，能够从输入信号中提取形式和基于含义的语言学知识，并分析了训练模型不同组件使用的表示方式。在表示层次结构的上升过程中，语义方面的编码越来越丰富，而语言输入中形式相关方面的编码在初始增加后呈现平稳或下降的趋势。

Feb, 2017

基于条件扩散模型和语言模型的最小监督语音合成：语义编码的比较研究

通过结合两种离散语音表示形式并使用两个序列到序列任务解耦合 TTS，最近在对可以以最低限度的监督进行训练的 TTS 方法中产生了越来越大的兴趣。我们提出了 Diff-LM-Speech，它在扩散模型的基础上将语义嵌入建模为基于 mel-spectrogram，并引入了基于变分自动编码器和韵律瓶颈的提示编码结构，以提高提示表示能力。我们还提出了 Tetra-Diff-Speech，通过设计一个持续时间扩散模型来实现多样化的韵律表达。同时，我们提出了 Tri-Diff-Speech 来验证语义编码的必要性。实验结果表明，我们的方法优于基准方法。我们提供了一个包含音频样本的网站。

Jul, 2023

从声音到语法：探究口语语言模型的句法

研究了自我监督和视觉基础的多个口语模型对句法的编码方式，证明句法结构被最明显地捕获在中间层，并在参数较多的模型中表现得更加明显。

May, 2023

为语音生成与转换学习潜在表征

使用变分自编码器实现了对自然语音生成过程的建模与学习，获得了较大突破。利用学习的潜在空间算术操作，实现了对语音的音素内容或说话人身份的无监督修改，无需平行监控数据。

Apr, 2017

未书写的语言也需要关注！使用编码器 - 解码器模型进行单词发现

本研究考察了神经网络在非书面语境下的词语发现任务中的应用，其中包括无监督和有限监督两种情形，结果表明在只有 5,157 个句子的情况下，使用编码器 - 解码器神经机器翻译系统进行训练可以检索出至少 27% 的词汇量。此外，我们的方法具有生成翻译对位的优势，这可用于创建双语词表。未来可以直接从语音输入中使用此方法。

Sep, 2017

使用深度卷积生成对抗网络学习语音数据中的本地和非本地依赖关系，并生成类似规则的表征

本文中提出，训练 GANs 以学习语音数据中的局部和非局部依赖关系，提供了洞察深度神经网络如何离散化连续数据以及深度卷积架构中出现类似符号化的基于规则的形态音位学过程的方式。

Sep, 2020

通过融合声学和语义信息来提高自动音频字幕生成的性能

本文提出了一种基于语义和音频信息相结合的自动音频字幕生成模型，使用预训练的 ResNet38 来初始化预训练关键字编码器，并使用 LSTM 解码器和语义和音频注意力模块来进行多模态注意力解码，实验证明该模型在 Clotho 数据集上达到了最先进的性能。

Oct, 2021