Jan, 2024

ICMC-ASR: 2024 年 ICASSP 车载多通道自动语音识别挑战

PDF
TL;DR促进驾驶场景下的语音处理和识别研究，建立在 ISCSLP 2022 举办的智能座舱语音识别挑战（ICSRC）成功的基础上，我们推出 ICASSP 2024 车载多通道自动语音识别（ICMC-ASR）挑战。该挑战收集了 100 多小时的多通道语音数据，记录在新能源汽车内，以及 40 小时的噪声用于数据增强。设立了两个赛道，包括自动语音识别（ASR）和自动语音日志记录与识别（ASDR），使用字符错误率（CER）和连接最小排列字符错误率（cpCER）作为评估指标。总体上，ICMC-ASR 挑战吸引了 98 支参赛团队，同时在两个赛道上收到了 53 份有效结果。最后，第一名的 USTCiflytek 团队在 ASR 赛道上取得 13.16% 的 CER，并在 ASDR 赛道上取得 21.48% 的 cpCER，与我们的挑战基线相比，在 ASR 方面绝对改进了 13.08%，在 ASDR 方面绝对改进了 51.4%。
发现论文，激发创造
  • ICASSP2024 ICMC-ASR 大赛的 NUS-HLT 系统

    我们团队在 ICMC-ASR 挑战赛的两个方向上付出了努力，包括多通道前端增强和辨析、训练数据增强、多通道分支的语音识别模型，经测试，在官方 Eval1 和 Eval2 数据集上，我们的最佳系统相对于官方基准系统提高了 34.3% 的 CER 和 56.5% 的 cpCER。

    Dec, 2023

  • 2022 年 ISCSLP 中英混合语音识别挑战赛摘要

    本文介绍了 ISCSLP 2022 中英文混合自动语音识别（CSASR）挑战赛，包括训练集、开发集和测试集等数据，以及参赛队伍的表现和技术。其中获胜队伍在测试集上取得了 16.70% 的混合误差率（MER）表现，并且相对基准系统取得了 9.8% 的 MER 绝对改善。

    Oct, 2022

  • 端到端多通道说话人归属 ASR：说话人指导解码器与输入特征分析

    我们提出了一种端到端的多通道说话人归属自动语音识别系统（MC-SA-ASR），它将基于 Conformer 的编码器与多帧跨通道注意力和基于说话人归属的 Transformer 解码器相结合。据我们所知，这是第一个在多通道环境中高效集成 ASR 和说话人识别模块的模型。在 LibriSpeech 数据的模拟混合语音中，与之前提出的单通道和多通道方法相比，我们的系统将词错误率（WER）相对降低了 12% 和 16%。此外，我们还研究了不同输入特征（包括多通道幅度和相位信息）对 ASR 性能的影响。最后，我们在 AMI 语料库上对我们的系统进行了实验，确认了我们系统在真实多通道会议转录中的有效性。

    Oct, 2023

  • CI-AVSR: 一份用于汽车指令识别的粤语音频视觉语音数据集

    本文提出了一个新的中文粤语数据集 - Cantonese In-car Audio-Visual Speech Recognition (CI-AVSR)，用于研究车内指令识别。使用视觉和音频数据来识别汽车相关的指令，并采用常见的车内背景噪声进行数据增强来模拟真实环境，同时还实现了两种多模态基线以证明数据集的有效性和可行性。

    Jan, 2022

  • ICASSP 2024 语音信号改善挑战

    通过引入数据集合成器，为 ICASSP 2024 演讲信号改进大挑战赛增加了 13 个实时系统和 11 个非实时系统的评估指标，同时还引入了目标指标和 2023 测试集的数据。

    Jan, 2024

  • ICASSP 2022 多通道多方会议转录挑战赛的 Volcspeech 系统

    本文介绍了我们在 ICASSP 2022 M2MeT 挑战中的参赛作品。对于 Track 1，我们提出多种方法来加强聚类式说话人分割系统以应对重叠语音；对于 Track 2，我们采用 Conformer 模型和神经前端模块来训练系统，实现多声道混叠语音识别，最终取得了比较好的性能表现。

    Feb, 2022

  • 通过学习对话层特征实现对话式语音识别

    本文提出一种基于端到端神经网络框架的会话自动语音识别模型，该模型使用潜变量模块来学习会话级别的角色偏好和主题连贯性，并使用一个主题模型来偏置解码器的输出，以预测主题中的单词。在两个汉语会话自动语音识别任务上的实验表明，该模型实现了最大 12% 相对字符错误率的降低。

    Feb, 2022

  • Kaggle 竞赛：用于车内指令的粤语视听语音识别

    研究智能车辆的深度学习与智能化，提供车辆相关信息和增强性能至关重要。然而目前，这个领域的大部分数据集往往只有英语和中文存在，这妨碍了更广泛社群的研究与应用。为了解决这一问题，本文提出了一种应对低资源语言识别问题的方法，即使用视听数据进行广东话语音识别。

    Jul, 2022

  • CHiME-7 DASR 挑战赛：异地会议多设备转录应用于多样化场景

    本文介绍了第七届 CHiME 挑战赛中的远场 ASR (DASR) 任务，并描述了挑战的设计、动机和基本研究问题，该任务旨在通过使用自我监督的语音表示法（SSLR）来设计一种可以跨越不同阵列几何和用例的单一系统。

    Jun, 2023

  • CNVSRC 2023 中的视觉语音识别的 NPU-ASLP-LiAuto 系统描述

    本文介绍了 NPU-ASLP-LiAuto（第 237 队）在 2023 年中国连续视觉语音识别挑战赛中引入的视觉语音识别（VSR）系统，涉及单说话人 VSR 任务的固定和开放跟踪，以及多说话人 VSR 任务的开放跟踪。实验结果表明，在多系统融合后，我们的系统在单说话人任务上实现了 34.76% 的 CER，在多说话人任务上实现了 41.06% 的 CER，在我们参与的所有三个跟踪中排名第一。

    Jan, 2024