Aug, 2020

神经开放域对话系统在对话历史的语音识别错误中是否具有鲁棒性？实证研究

PDF
TL;DR本文研究了 Generative Pre-trained Transformer 模型训练过程中不同类型的合成和真实的 ASR 假设对于模型的影响，并提出一种基线缓解策略。结果表明，模型在创作过程中，对话历史中引入 ASR 假设很敏感。因此，需要进一步探索增强神经聊天机器人语音健壮性的技术。
发现论文，激发创造
  • 神经对话系统有效利用对话历史吗？实证研究

    本文研究了神经生成模型在对话系统中对历史对话的敏感性，并通过实验证明在测试时的上下文人为干扰（例如缺失或重排序发言，混淆词语等）对常用的递归和基于 Transformer 的 seq2seq 模型的影响很小，在开源其代码的同时，本文所提供的测试评估工具将为未来的对话系统改进提供参考。

    Jun, 2019

  • 使用序列 - 序列模型缓解语音识别错误对聊天机器人的影响

    采用序列到序列模型解决语音识别误差对于开放域端到端对话生成的影响。将任务看做一个域适应问题，使用两个不同域的 ASR 转录和原始文本，并提出了两个独立编码器的模型，使其隐藏状态相似，并确保解码器预测相同的对话文本。实验结果表明该方法可以消除语音识别错误并帮助口语对话系统生成更相似于原始文本答案的响应。

    Sep, 2017

  • 使用合成语音增强训练神经语音识别系统

    利用 LibriSpeech 数据集，将合成语音与自然语音数据集相结合，使用神经网络训练的端到端自动语音识别模型达到了最新的状态，极大地推动了自动语音识别技术的进步。

    Nov, 2018

  • 干净与嘈杂语音转录的强健神经机器翻译

    本文研究如何使强 NMT 系统适应典型 ASR 错误，并提出适应策略以训练单一系统，能够在无监督输入类型的情况下翻译干净或嘈杂的输入。通过公共演讲翻译数据集的实验结果表明，对包括 ASR 转录本的大量并行数据进行调整对于相同类型的测试数据是有益的，但在翻译干净文本时会产生轻微恶化。 在干净和嘈杂数据的同一数据上进行调整可以在两种输入类型上产生最佳结果。

    Oct, 2019

  • 探测神经对话模型的对话理解能力

    本研究分析了神经网络开放领域对话系统所学习的内部表示，并评估了这些表示的质量以学习基本的交谈技巧。结果表明，标准的开放领域对话系统难以回答问题、推断矛盾并确定对话话题等任务，需要更多的研究来探讨建筑和训练方法，从而更好地捕捉有关对话的高级信息。

    Jun, 2020

  • 使用合成数据的端到端自适应语音识别系统的简单基线

    本文提出了一种简单的基线技术，使用单个扬声器的 TTS 引擎将纯文本语料库转换为音频数据，并使用目标域中的并行数据对通用 ASR 模型的最终密集层进行微调，结果表明，单个发声者 TTS 数据与仅微调最终密集层的结合可合理提高单词错误率.

    Jun, 2022

  • 训练对话模型以更好地处理语音识别错误的数据增强

    本文探讨了通过数据增强的方法，将 ASR 的噪声注入到对话模型的训练数据中，以提高虚拟助手的稳定性。

    Jun, 2020

  • 口语问答中语音识别误差对文本检索的影响

    研究了语音接口与问答系统交互过程中的问题，使用数据增强技术来探究自然语音识别噪音对信息检索的影响。结果表明，自然语音识别噪音会对信息检索产生负面影响，提出使用数据增强来解决这个问题。

    Sep, 2022

  • 使用生成式分层神经网络模型搭建端到端对话系统

    使用生成模型在大型对话语料库上构建开放域对话系统的任务得到了研究，这里我们扩展了分层递归编码器 - 解码器神经网络到对话领域，并证明了该模型与最先进的神经语言模型和后退 n-gram 模型有竞争力，我们进一步探讨了该方法及类似方法的局限性，再展示了如何通过从更大的问答匹配语料库和预训练的词嵌入中引导学习以提高其性能。

    Jul, 2015

  • 超越受控环境：评估 ASRRobust NLU 模型在实际应用中的可移植性

    该研究通过智能家居自动化指令在乌尔都语中考察了自动语音识别（ASR）鲁棒的自然语言理解（NLU）模型从受控实验条件到实际应用的可迁移性，并评估了模型在不同噪声环境、语言变化和 ASR 错误场景下的性能。利用乌尔都 BERT 模型，研究采用了系统的方法论，包括实际数据收集、交叉验证、迁移学习、噪声变化研究和领域适应。评估指标涵盖特定任务的准确性、延迟、用户满意度和对 ASR 错误的鲁棒性。研究结果揭示了 ASR 鲁棒的 NLU 模型在超越受控环境方面所面临的挑战和适应性。

    Jan, 2024