用于多说话者音视频跟踪的变分贝叶斯推断

Sep, 2018

用于多说话者音视频跟踪的变分贝叶斯推断

Variational Bayesian Inference for Audio-Visual Tracking of Multiple Speakers

Yutong Ban, Xavier Alameda-Pineda, Laurent Girin, Radu Horaud

TL;DR本文提出了一种基于视听信息融合技术框架的多说话人跟踪系统，利用可变因素推断方法近似求解了连续和离散潜变量的后验联合分布，实现了跟踪对象的平滑轨迹估计和说话状态的判断。实验结果表明该方法在非正式会议中表现出较好的性能。

Abstract

In this paper we address the problem of tracking multiple speakers via the fusion of visual and auditory information. We propose to exploit the complementary nature of these two modalities in order to accurately estimate smooth trajectories of the tracked persons, to deal with the partial or total absence of one of the modalities over short periods of time,

audio-visual fusion model speaker tracking variational inference trajectory estimation acoustic status estimation

发现论文，激发创造

基于时空贝叶斯融合的音视频说话人分离

本文介绍了一种音视频 “位置时间标记” 模型，其中多人视觉跟踪与多重语音源定位相结合，通过一种音视频融合方法对话音频信号进行了分离，从而能够同时处理多人的语音信号。该模型在多方交互的情况下处理多人同时发出的语音信号，解决了多人语音辨别问题。

Mar, 2016

基于递归融合的联合交叉注意力的音视频人员验证

通过递归融合的联合交叉关注模型和 BLSTMs，本研究有效地捕捉音频和视觉模态之间的内在和跨模态关系，显著提高了融合性能。

Mar, 2024

将声音与图像结合以确定视频中的发言者

本文提出了一种音视频关联系统，将音频和视觉信号的信息融合，通过对视频中的统计数据的聚合实现面部和声音的有效关联，无需针对此任务的具体训练数据，并利用音频和视觉流中信息的自然相干性，特别适用于跟踪网络视频中的说话人，通过对真实数据集的实验表明，该方法的准确率约为 71％。

May, 2017

音视频说话人验证基于联合交叉注意力

通过跨模态联合注意力来提升说话人验证的性能，进一步发掘音频和视觉融合在说话人验证领域的潜力。

Sep, 2023

MAAS: 多模态分配用于活跃说话人检测

本文提出了将图形数据结构应用于音频和视觉信号融合的新方法，将多模式的音视频特征分配给先前检测到的语音事件，实现了 88.8％的 AV-ActiveSpeaker 数据集性能最优。

Jan, 2021

带自监督学习的多模态感知注意力网络用于音视说话者追踪

本文提出了一种利用声音和视觉模态进行讲话者跟踪的多模态感知跟踪器（MPT），其中包括使用基于空时全局相干字段（stGCF）的声学地图进行异构信号融合，引入多模态感知注意力网络来导出可靠性和效益的知觉权重，以及使用跨模态自我监督学习方法模拟不同模态之间的互补性和一致性。实验结果表明，所提出的 MPT 在标准数据集和遮挡数据集上分别达到了 98.6% 和 78.3% 的跟踪精度，证明了其在不利条件下的鲁棒性优于目前的最新技术。

Dec, 2021

视频中音频 - 视觉讲话者定位对空间音效重现的应用

通过使用多通道音频和视觉模式，本研究比较了传统的音频 - 视觉方法和单声道音频的活跃说话者检测方法，在位置元数据提取和空间准确性上取得了显著改进。未来的研究将评估该模型在嘈杂和高混响环境中的稳健性，并解决离屏说话者的问题。

Jun, 2024

利用深度贝叶斯变分推断的不确定性感知视听活动识别

本研究提出了一种考虑个体单模态预测不确定性的多模态贝叶斯融合框架，采用行为识别作为应用案例，并结合确定性和变分层混合以扩展贝叶斯深度神经网络的深层架构，在 Moments-in-Time 数据集的实验中表现出优于基准方法和 Monte Carlo dropout 方法的可靠置信度，并在 UCF101 和 MiT 数据集上证明了该框架从中提取的预测不确定性能够识别元数据。

Nov, 2018

跨模态监督学习视频中的活动发言者检测

本文利用音频监督视频中活跃讲话者检测的学习，通过声音活动检测 (VAD) 以弱监督的方式指导基于视觉的分类器学习。使用时空特征进行分类，学习人特定的模型以及在线适应性的改进，利用时间连续性克服了缺乏干净训练数据的问题。通过跨模态学习，不需要监督，将知识从一种模式传递到另一种模式，建立了自学习活跃讲话者检测系统。

Mar, 2016

自监督多感官特征的音频 - 视觉场景分析

本文提出了一种融合多感官表征的方法，通过神经网络自动预测视频帧和音频的时间对齐情况，实现声音定位、视听行为识别和音频源分离等三个应用。

Apr, 2018