Jun, 2024

航空交通管制中的联合与顺序发言者 - 角色检测及自动语音识别

PDF
TL;DR利用空中交通管制数据进行自然语言处理需要进行预处理步骤，我们提出了一种基于 Transformer 的联合语音识别（ASR）和说话人分离（SRD）系统，比较了该系统与传统方法在多个 ATC 数据集上的性能，研究显示了何种情况下该联合系统能够胜过传统方法以及何种情况下其他架构更可取，同时我们评估了声学和词汇差异对所有架构的影响并展示了如何克服它们。
air-traffic control dataautomatic speech recognitionspeaker diarizationjoint asr-srd systemtransformer-based architecture
发现论文，激发创造
  • 利用语境数据的两步方法：空中交通通信中的语音识别

    本文通过将 ASR 和 NLP 方法相结合并利用监控数据，研究了一种两步增强 callsign 的方法，最终提高了 53.7% 的绝对召唤符号识别率和 60.4% 的相对召唤符号识别率。

    Feb, 2022

  • 联合语音识别和音频字幕

    为了更好地解释语音样本中的背景噪声，并对内容进行全面理解，我们提出了多种方法来实现自动语音识别和自动音频字幕的端对端联合建模，并使用混合干净语音和多种背景噪声的多任务数据集进行实验验证。

    Feb, 2022

  • 用于空中交通管制员培训的虚拟仿真驾驶员代理

    本文提出了一种新颖的虚拟模拟飞行员引擎，该引擎利用不同的人工智能工具加速空中交通管制员（ATCo）的培训，并且采用了自动语音识别和理解、高级空中交通管制相关实体解析、文本到语音子模块等先进工具，能够模拟控制操作场景、生成模拟机长的话语并提高实时监视数据的辨识准确度，是首次基于开源 ATC 资源和 AI 工具的研究。

    Apr, 2023

  • 几乎无监督的文本转语音和自动语音识别

    本文提出了一种基于 Transformer 模型的几乎无监督学习方法，结合 TTS 和 ASR 的双重特性，通过少量的配对数据和额外的未配对数据，实现了对语音和文本领域的语言建模，并在 LJSpeech 数据集上达到了 99.84% 的可懂单词率和 2.68 MOS 的 TTS 表现，以及 11.7% 的 ASR 错误率。

    May, 2019

  • ASR 纠错和语言理解的联合上下文建模

    该研究提出了一种多任务神经网络方法，通过对话系统中的语音识别输出进行上下文语言纠正和语言理解以改善两个任务的性能，从而提高自动语音识别的质量。

    Jan, 2020

  • 多方会议中说话人归属的自动语音识别的比较研究

    对在多方会议场景下的口语识别（SA-ASR）中的发言人进行的比较研究中，通过三种不同的方法进行了评估。结果表明，引入单词级别的划分模型可以有效降低时戳对准错误。同时，采用目标发言人分离模块和 ASR 模块联合训练可以显著提高 SA-ASR 的性能。

    Mar, 2022

  • 利用时间戳信息进行序列化联合流式识别和翻译

    提出了一种流式 Transformer-Transducer (T-T) 模型，能够使用单个解码器联合生成多对一和一对多的转录和翻译，并引入了一种基于时间戳信息的新颖方法来有效地在流式环境中生成语音识别和语音翻译的输出。通过在 {it, es, de}->en 上进行的实验证明了我们方法的有效性，首次实现了使用单个解码器生成一对多联合输出。

    Oct, 2023

  • 关于共同学习语音情感识别和自动语音识别的有效性和噪声稳健性

    本文研究了一种联合的 ASR-SER 多任务学习方法，发现在低资源环境下，采用这种方式可通过对背景噪音的处理从而提高 ASR 词错误率和 SER 分类准确性，结果表明使得该方法产生比独立 ASR 和 SER 方法更具噪音抗干扰性的模型。

    May, 2023

  • 端到端联合识别非目标发言人与目标发言人的自动语音识别

    本文提出一种新颖的自动语音识别系统，能够在多人重叠说话的情况下转录出单个说话者的发言，同时识别他们是目标还是非目标说话者。

    Jun, 2023

  • 在线音视频会议转录技术进展

    本研究论文介绍了一种使用麦克风阵列和 360 度摄像头生成会议演讲者注释转录的系统，该系统能够处理重叠性语音并使用连续语音分离方法解决该问题。同时，还通过融合脸部跟踪和识别、声源定位、演讲者识别及先前演讲者信息的在线音频视觉演讲者日记化方法，提供了一个名为 SRD 的会议转录框架，并使用 11 名与会者的会议录音的实验结果表明，连续语音分离方法相对于高度调整的波束成形技术可将字词错误率降低 16.1％。当有完整的与会者名单时，字词错误率与演讲者归属字词错误率之间的差异仅为 1.0％，表明字词与演讲者之间的关联准确无误。当 50% 的与会者对系统不知情时，差异略有增加，为 1.6%。

    Dec, 2019