本文介绍了一项新的同步任务 Gesture-Sync：确定人的手势与他们的语言之间是否存在相关性。我们引入了一种双编码器模型进行这项任务，并比较了包括 RGB 帧、关键点图像和关键点向量在内的多种输入表示形式，评估了它们的性能和优势。我们展示了模型可以仅通过自监督学习进行训练，并在 LRS3 数据集上评估其性能。最后，我们展示了使用 Gesture-Sync 在音频 - 视觉同步和在人群中确定发言者的应用。代码、数据集和预训练模型可在以下网址找到：https://www.robots.ox.ac.uk/~vgg/research/gestsync。

Oct, 2023

该论文提供了一种利用语音内容匹配身体动作的视频再现方法，通过剪辑、组合、动作建模、音频节奏搜索等技术，实现了更高质量和一致性的视频合成。

Jul, 2022

通过加速度计数据，研究推断 AI 对说话意图的成功与失败，并采用机器学习模型从真实社交网络事件的数据中进行训练和评估，结果表明加速度数据中存在有用的信息，但尚不足以可靠地捕捉到说话的意图。

Jan, 2024

通过消除触发短语的需要，本研究探索了使用流式音频录制的设备麦克风记录的信号来确定用户是否在与虚拟助手进行交流，通过将语音识别系统的最佳假设和解码器信号与音频编码器的声学表示结合为大型语言模型的输入特征来实现这一目标。使用低秩适应和前缀调整的组合来对 80,000 个或更少的多模式数据示例进行训练，我们将所提出的系统与单模式基线进行比较，结果表明多模式方法实现了更低的等错误率（EER），同时仅使用了训练数据的一小部分，并且低维度的专门音频表示比高维度的普通音频表示导致更低的错误率（EER）。

Dec, 2023

本文发现，缺少可用于训练和测试信号处理和机器学习算法的具有代表性的数据集，介绍并放出了一个包含超过 5 小时多模态数据的数据集，以便建立多模态 AR 方案以减少鸡尾酒会效应。

Jul, 2021

本文介绍了一种基于卷积神经网络的端到端模型，可将无声视频帧转化为可听、自然的语音信号，模型在 GRID 和 TCD-TIMIT 数据集上训练，并使用常见的客观指标评估重建语音的质量和可懂度，结果表明，本文提出的模型在预测语音方面比现有模型得分显著提高，同时展示了从无约束字典重构语音的有 promising 结果。

Aug, 2017

本文提出了一种音频视觉融合策略，该策略不仅可以超越简单的特征连接，而且可以自动地对齐两种方式，具有提高语音识别准确性的增强表示，特别适合干扰噪声环境中的识别任务，并且可以推广到许多涉及相关模态的多模态任务中。

Sep, 2018

本文提出了使用已有的人脸标记检测器生成时间 - 频率蒙版来提高多人交谈环境下的语音增强过程，其结果表明，我们的模型是在有限的 GRID 和 TCD-TIMIT 数据集上进行培训和评估的首个能够实现在多人交谈环境中实现独立于发言人的语音增强的模型。

Nov, 2018

本文提出了一种深度视听语音增强网络方法，借助于对应视频中的嘴唇信息，能够在多人同时说话的情境下，从语音信号中分离出个人的发言，该方法适用于训练时未涉及到的说话者，并在不受限制的环境下，展现了出色的定量和定性效果。

Apr, 2018

本文描述了一个新的数据集，其中含有 YouTube 视频中密集标记的语音活动，目的是为该任务创建一个共享，可用的数据集，并在 AVASpeech 上使用现成的最先进的音频和视觉模型报告基准性能数字，以便于未来的研究。

Aug, 2018