Jul, 2023

自发语音的主题识别：丰富音频特征与嵌入的语言信息

PDF
TL;DR该研究探讨了在低资源情况下，通过比较纯音频和混合多模态技术的音频识别解决方案，发现纯音频解决方案是没有自动语音识别系统的情况下的可行选项，并且混合多模态解决方案获得了最佳结果。
topic identification solutionsaudio-based solutionshybrid multi-modal solutionslow-resource situationsspontaneous speech
发现论文，激发创造
  • 语音话题识别（无 ASR）

    本文研究了无监督学习方法进行语音自动识别，使用自动化的代替人工转录，使用自动化分词的方式，开发卷积神经网络模型，提高单标签或多标签分类的语音识别准确率。

    Mar, 2017

  • 利用未对齐的语音和文本训练的非监督自动语音识别技术

    本文研究无监督语音识别方法，提出由语音向量表示、语义嵌入和无监督转换的框架，这一框架可用于缺乏音频文本对齐数据和受监督方法无法应用的低资源语言。

    Mar, 2018

  • 结合 ASR 和视觉特征产生教学视频字幕的案例研究

    研究表明，在视频分享平台上，提供时间戳、子任务注释可以提高用户体验，但是，现有的仅基于视觉特征的自动注释方法仅比常量预测略好。本文考虑 ASR 标记作为输入，通过联合建模 ASR 标记和视觉特征的方式，可以显著提高性能，同时探讨未明示的背景信息在视觉特征方面的表达更好，而细粒度的区分（例如，“加油” vs.“加橄榄油”）则更容易通过 ASR 标记消歧。

    Oct, 2019

  • 无监督自动语音识别：综述

    这篇论文研究了使用无监督学习的方法，包括语音分割，语音信号到文本的映射和半监督模型来实现自动语音识别，以识别从语音数据中可以学到的极限并理解语音识别的最小要求，目的是为了在开发低资源语言的语音识别系统时优化资源和努力。

    Jun, 2021

  • 利用声学语言特征和先行技术进行智能语音分段

    研究利用混合声学和语言信息的方法改善了自动语音识别中过分依赖声学特征而出现的分割问题，在基准测试中平均提高了 9.8％的分割 - F0.5 分数，该方法适用于多种语言，可显著提高机器翻译 BLEU 得分约 1.05 个点。

    Oct, 2022

  • 多模态方法在大型语言模型中的设备导向语音检测

    虚拟助手的交互通常以预定义的触发短语作为开端，我们探索是否可以放弃用户必须以触发短语开始每个指令的要求。通过三种方式进行实验：首先，只使用从音频波形中获得的声学信息来训练分类器；其次，将自动语音识别（ASR）系统的解码器输出，如 1 最佳假设，作为大型语言模型（LLM）的输入特征；最后，探索结合声学和词汇特征以及 ASR 解码器信号的多模态系统。使用多模态信息相对于仅文本和仅音频的模型，在等误差率上可以获得高达 39% 和 61% 的改进。增加 LLM 的规模，并使用低秩适应来进行训练，在我们的数据集上进一步降低了相对误差率高达 18%。

    Mar, 2024

  • 几乎无监督的文本转语音和自动语音识别

    本文提出了一种基于 Transformer 模型的几乎无监督学习方法，结合 TTS 和 ASR 的双重特性，通过少量的配对数据和额外的未配对数据，实现了对语音和文本领域的语言建模，并在 LJSpeech 数据集上达到了 99.84% 的可懂单词率和 2.68 MOS 的 TTS 表现，以及 11.7% 的 ASR 错误率。

    May, 2019

  • 无需语音识别的语音到文本翻译

    本文探讨语音转文本翻译的问题，使用无监督术语发现技术将音频文件转化为伪文本，并使用其进行简单的词袋机翻译，面对跨讲话者无监督术语发现的难题，系统实现了低召回率的跨语音翻译。

    Feb, 2017

  • 语言引导的具身化智能体多模式语音识别

    本文提出了一种多模式自动语音识别模型，通过考虑附带的视觉上下文来减少口头指令的错误转录，使用了仿真的噪声环境。实验结果表明，使用多模态 ASR 模型可使任务完成的准确性得到提高。

    Feb, 2023

  • 基于语音和文本数据的音位结构学习，较少资源近乎无监督的语音识别

    利用音频字向量和自编码器实现跨模态的语音识别，演示了即使缺乏训练数据，也可以从少量音频和文本之间的嵌入对齐中进行 ASR 系统的训练。

    Oct, 2018