本文提出了一个新的中文粤语数据集 - Cantonese In-car Audio-Visual Speech Recognition (CI-AVSR)，用于研究车内指令识别。使用视觉和音频数据来识别汽车相关的指令，并采用常见的车内背景噪声进行数据增强来模拟真实环境，同时还实现了两种多模态基线以证明数据集的有效性和可行性。

Jan, 2022

本研究利用多领域广泛覆盖的香港粤语语料库 (MDCC)，采用多数据集学习技术提高 Fairseq S2T Transformer 自动语音识别模型在香港粤语方言中的有效性。

Jan, 2022

该研究在中文、西班牙语、英语、阿拉伯语和法语这五种常用语言上，对音视频语音识别（AVSR）进行了广泛而详细的研究。通过收集大规模的数据集并进行有监督学习模型的训练，在多语言环境中训练的 ViSpeR 模型在每种语言的最新基准测试中表现出竞争力。该研究通过提供数据集和模型给研究社区，旨在为音视频语音识别领域的进一步研究和探索奠定基础。

May, 2024

这项工作旨在建立 MAVD，这是一个新的大规模普通话多模态语料库，包括由 64 名中国本土说话者发出的 12,484 个话语，其中包括深度信息，可用于评估音频视觉语音识别的有效性。

Jun, 2023

本文提出了一种基于数据驱动学习的音视频感知对话基准方法，采用注意力机制从海量传感器中区分实用信号和干扰信号，实验结果表明此方法在音视频感知数据集中性能超过现有最先进方法 20% 以上。

Apr, 2019

通过引入多语种音视频语音识别模型和快速调整器模型，提高了模型性能和音频噪音稳健性。在多语种数据集上进行训练，达到了领先水平，并在 MuAViC 基准测试中显著减少了平均识别错误率。

Mar, 2024

本文描述了一份音频数据集，可以用于训练和评估关键词检测系统，并介绍了为什么该任务是一个有趣的挑战，以及为什么需要不同于用于自动语音识别的常规数据集的专门数据集。本文还提出了一种方法来实现可重复和可比较的准确性指标，并描述了数据的收集和验证方式、数据的属性以及以前的版本。最后，报告了在该数据集上训练的模型的基线结果。

Apr, 2018

本论文介绍了场景感知对话任务，通过视频和音频研究场景，并在对话历史中利用上下文线索，以回答关于场景的问题；同时提出了 AVSD 数据集，并通过多项定量和定性指标评估了基础模型的表现，结果表明模型必须充分利用所有可用输入（视频、音频、问题和对话历史）才能在该数据集上取得最佳表现。

Jan, 2019

促进驾驶场景下的语音处理和识别研究，建立在 ISCSLP 2022 举办的智能座舱语音识别挑战（ICSRC）成功的基础上，我们推出 ICASSP 2024 车载多通道自动语音识别（ICMC-ASR）挑战。该挑战收集了 100 多小时的多通道语音数据，记录在新能源汽车内，以及 40 小时的噪声用于数据增强。设立了两个赛道，包括自动语音识别（ASR）和自动语音日志记录与识别（ASDR），使用字符错误率（CER）和连接最小排列字符错误率（cpCER）作为评估指标。总体上，ICMC-ASR 挑战吸引了 98 支参赛团队，同时在两个赛道上收到了 53 份有效结果。最后，第一名的 USTCiflytek 团队在 ASR 赛道上取得 13.16% 的 CER，并在 ASDR 赛道上取得 21.48% 的 cpCER，与我们的挑战基线相比，在 ASR 方面绝对改进了 13.08%，在 ASDR 方面绝对改进了 51.4%。

Jan, 2024

本文提出了一个基于 AV-HuBERT 模型的自监督音视频言语识别框架，利用 LRS3 数据集的少量标记数据，在噪音干扰的情况下提高了超过 50% 的性能，并且比基于音频的模型将词错误率减少了 75% 以上。

Jan, 2022