基于编码器 - 解码器的语音识别中的低层辅助任务多任务学习

Apr, 2017

基于编码器 - 解码器的语音识别中的低层辅助任务多任务学习

Multitask Learning with Low-Level Auxiliary Tasks for Encoder-Decoder Based Speech Recognition

Shubham Toshniwal, Hao Tang, Liang Lu, Karen Livescu

TL;DR本研究探讨了将中间表示作为深度网络低层的辅助监督的方法，将传统的 pipeline 方法与端到端的训练方法相结合，实验结果表明这种方法提高了对话语音识别的识别准确性。

Abstract

End-to-end training of deep learning-based models allows for implicit learning of intermediate representations based on the final task loss. However, the end-to-end approach ignores the useful domain knowledge en

deep learning intermediate representations supervision multitask learning speech recognition

发现论文，激发创造

基于 CTC 的语音识别的分层多任务学习

使用分层多任务学习进行基于 CTC 的语音识别，添加辅助任务可提高识别结果表现，不同的实验变量，低资源下标准多任务学习表现优异，最佳结果为采用分层多任务学习与预训练相结合，可将错误率降低 3.4% 绝对值。

Jul, 2018

多任务学习在开放域对话系统中的实证研究

研究使用辅助任务对自回归模型进行改进，提高其在开放域对话生成中的长期语境处理和一致性维护，结果在小型和中型的 GPT-2 模型上表明引入新的辅助任务虽然有所改进，但仍有发展空间。

Apr, 2023

神经语音翻译的绑定多任务学习

本文探讨了用于神经语音翻译的多任务模型，并对其进行增强，以反映两个直观概念。精准的中间表示和神经关联的模式，参与模型的训练可以提高低资源语音转录和翻译任务的性能。

Feb, 2018

多个自监督任务中学习与问题无关的语言表征

本论文提出一种改进的自监督学习方法，其中单个神经编码器由多个工作人员共同解决不同的自监督任务，该方法可学习传输、强健和面向问题的特征，这些特征中包含了从语音信号中提取的相关信息，如讲话者身份、音素和情感线索。

Apr, 2019

通过理解和学习辅助文本翻译任务来提高语音翻译

本文研究了在多任务学习框架下，辅助文本翻译任务对语音到文本翻译任务的影响及参数共享等解决方案，提出三种方法以提高翻译质量，实验结果表明该方法在几种语种翻译任务中相对于基线都达到了最新水平。

Jul, 2021

利用文本数据增强语音转文本任务的通用多任务学习框架

本文提出了一种多任务学习框架，利用文本数据来提高自动语音识别和语音翻译的性能，其中包括基于注意力的序列到序列建模、去噪自动编码器、机器翻译等技术。在英语语音识别任务中，该方法相对于基线线下降了 10~15% 的词错误率，在 MuST-C 任务中有 3.6~9.2 BLEU 的提高。

Oct, 2020

低资源口语理解的多任务学习

本研究探讨了多任务学习在语音处理中的优势，通过使用自动语音识别和意图分类或情感分类的双重目标来训练模型，我们的模型虽然规模适中，但我们的研究表明多任务学习可以在低资源情况下与基线模型竞争，并且在情感分类上表现与端到端模型相当。

Nov, 2022

重思和改进端到端语音翻译的多任务学习

通过应用多任务学习，已经在端到端语音翻译中取得了显著的改进。本文研究了不同任务之间的一致性，并提出了一种改进的多任务学习方法，通过缓解长度和表征的差异来弥合模态间的差距。实验证明我们的方法达到了最先进的结果。此外，当使用额外的数据时，我们在 MuST-C 英语到西班牙语任务上以当前最先进方法所需的 20.8% 的训练时间取得了新的最先进结果。

Nov, 2023

可搜索的隐藏中介于可分解序列任务的端对端模型

我们提出了一个利用分解子任务进行可搜索的中间隐层表示学习的端到端框架，在语音翻译等复杂序列任务上实现了优越的性能。

May, 2021

使用辅助任务训练简单有效的多轮对话生成模型

本研究探讨多轮开放域对话的响应生成，并通过辅助任务实现上下文理解，提高了生成模型的质量，同时具有更快的解码速度。

Apr, 2020