基于自注意力的算法用于选择固定空间滤波器的输出，从而用于联合语音活动检测和重叠说话检测的特征提取器，进而推断说话人分离。自注意力权重的分析表明其可解释性，因为它们与说话者的角度位置相关。

Jun, 2024

本研究论文介绍了一种使用麦克风阵列和 360 度摄像头生成会议演讲者注释转录的系统，该系统能够处理重叠性语音并使用连续语音分离方法解决该问题。同时，还通过融合脸部跟踪和识别、声源定位、演讲者识别及先前演讲者信息的在线音频视觉演讲者日记化方法，提供了一个名为 SRD 的会议转录框架，并使用 11 名与会者的会议录音的实验结果表明，连续语音分离方法相对于高度调整的波束成形技术可将字词错误率降低 16.1％。当有完整的与会者名单时，字词错误率与演讲者归属字词错误率之间的差异仅为 1.0％，表明字词与演讲者之间的关联准确无误。当 50% 的与会者对系统不知情时，差异略有增加，为 1.6%。

Dec, 2019

声活动和重叠演讲检测对于说话人分析是关键的预处理任务。本文提出了一个全面的新绩效基准，用于多种音频设置（单 / 多通道）和语音领域上的不同声活动和重叠演讲检测模型，并展示了联合训练这两项任务的独特架构在降低训练成本的同时能够获得与两个专门的声活动和重叠演讲检测系统相似的 F1 分数表现。

Jul, 2023

提出一种新的 TS-VAD 方法，通过直接预测每个时间帧上每个演讲者的活动来解决重叠说话问题，并使用 i-vectors 作为输入，并扩展到多麦克风情况，并研究了预测演讲者活动概率的后处理策略。在 CHiME6 数据上的实验证明，TS-VAD 取得了优于基于 x-vector 的基准系统 30% 以上的 DER 绝对值的最新结果。

May, 2020

我们介绍了一种新的基于语音分离引导的在线发言人分化方案，适用于持续变动的说话人数量的长时间会议录音。

Jan, 2024

本文介绍了一种从多方会议的语义内容中提取与讲话者相关信息进而改进说话人分离方法的方法，提出了两个子任务（对话检测和发言者切换检测）来有效地从对话语义中提取讲话者信息，并提出了一种简单而有效的算法来联合建模声学和语义信息并获得标识讲话者的文本。实验结果表明，我们的方法在 AISHELL-4 和 AliMeeting 数据集上相对于仅声学的说话人分离系统都有显著的改进。

May, 2023

该论文利用周围视视频和单通道或多通道音频生成强大的发言人识别输出，在真实世界会议中展示出优异的定量和定性性能，并探究了在可用多通道音频的情况下，通过集束成形和视频协同使用，进一步提高性能的方法。

Jun, 2019

在商用设备上部署的低功耗边缘计算优化的实时因果神经网络活动说话人检测系统，通过来自麦克风阵列和 360 度摄像机的数据驱动虚拟电影摄影模块；与以往的研究不同，我们研究了网络在计算预算耗尽时的错误率，并发现它表现出优雅的降级，即使在此情况下系统仍能正常运行；与传统的声源角估计方法不同，我们的网络利用检测到的头部位置学习查询可用的声学数据；我们在一个现实的会议数据集上训练和评估我们的算法，该数据集包含达到 14 个与会者的同一会议、语音重叠和其他具有挑战性的场景。

Sep, 2023

提出了一种基于端到端模型的说话人分割方法，直接进行说话人划分，通过多标签分类解决此任务，同时可用于语音活动检测和重叠语音检测，且在多个数据集上都有显著的表现提升。

Apr, 2021

通过图神经网络的端到端监督分层聚类算法（E-SHARC）可以改善目前状态下的说话人辨别系统，特别是在重叠语音区域的预测上。

Jan, 2024