本文介绍了一个端到端的解决方案，用于创建完全自动化的会议纪要并对其进行多种语言的机器翻译。该工具由世界知识产权组织（WIPO）使用内部开发的语音转文本（S2T）和机器翻译（MT）组件开发。除了描述数据收集和调优，从而创造出高度定制和强大的系统，本文还描述了技术组件的体系结构和演变，并突出了用户方面的业务影响和收益。我们还指出了系统演化和采用过程中的特定挑战，以及新方法如何创建了新产品，并取代了会议管理文档中现有的工作流程。

Sep, 2023

本研究论文介绍了一种使用麦克风阵列和 360 度摄像头生成会议演讲者注释转录的系统，该系统能够处理重叠性语音并使用连续语音分离方法解决该问题。同时，还通过融合脸部跟踪和识别、声源定位、演讲者识别及先前演讲者信息的在线音频视觉演讲者日记化方法，提供了一个名为 SRD 的会议转录框架，并使用 11 名与会者的会议录音的实验结果表明，连续语音分离方法相对于高度调整的波束成形技术可将字词错误率降低 16.1％。当有完整的与会者名单时，字词错误率与演讲者归属字词错误率之间的差异仅为 1.0％，表明字词与演讲者之间的关联准确无误。当 50% 的与会者对系统不知情时，差异略有增加，为 1.6%。

Dec, 2019

本文提出了一种基于神经网络的端到端系统，用于语音保留、唇面同步翻译视频，通过多个组件模型的组合，该系统能够在目标语言中生成保持语音强调、语音特征、原始扬声器面部视频的原始讲话者的视频，并在后续过程中使用人工智能技术进行语音识别、机器翻译、语音合成、语音转换和视频生成。经过实验，我们的系统能够有效地产生令人信服的视频，而且我们也分别对系统的单个组件进行了测试。

Jun, 2022

研究了一种在会议或会谈中进行同时语音翻译的应用程序，并探讨了使用在线口语翻译模型建立在线口语翻译系统的一般方法以及针对这种方法采用不同的语言和体系结构的多语种模型与端对端模型的能力。所提出的方法通过对 TEDx 语料库的实验证明，相似的潜在优势。

Mar, 2022

该研究提出了一种称为 “面对面翻译” 的新方法，旨在通过自动将语言 A 的视频翻译为目标语言 B 并实现逼真的嘴唇同步来改善跨语言多模态内容的用户体验。项目包括语音 - 语音翻译系统、视觉模块和基于 LipGAN 方法的生成逼真头像的技术，对涉及多种现实应用场景的人机交互和可消费多模态内容具有显著优势。

Mar, 2020

本文介绍了一种视频翻译系统，不仅能够翻译语言，还能将翻译的声音与说话者的唇部运动同步。该系统专注于翻译印度各种语言的教育讲座，在低资源环境中也能高效运行。通过将目标语言与说话者的唇部运动结合，并使用语音克隆技术将它们与说话者的声音匹配，我们的应用程序为学生和用户提供了更加沉浸式和真实的学习环境，从而增强了学习的效果和吸引力。

Sep, 2023

通过结合智能技术和通信与协作，本研究提出了数字通信媒体的三个关键设计概念，包括面板基底、基于语言的意图识别和轻量级交互技术，并开发了名为 CrossTalk 的视频会议系统来实现这些概念，从而实现了更流畅灵活的通信和协作体验。

Aug, 2023

本文介绍了用于视频字幕挑战的框架，采用编码器 - 解码器的方法，其中使用 3D 卷积神经网络对视频进行编码，并使用两个 LSTM 递归网络进行解码，最终输出是两个 LSTM 的输出元素乘积，而此模型可以在公共和私人测试数据集上实现 BLEU 得分分别为 0.20 和 0.22。

Jun, 2020

本文介绍了我们在 ICASSP 2022 M2MeT 挑战中的参赛作品。对于 Track 1，我们提出多种方法来加强聚类式说话人分割系统以应对重叠语音；对于 Track 2，我们采用 Conformer 模型和神经前端模块来训练系统，实现多声道混叠语音识别，最终取得了比较好的性能表现。

Feb, 2022

本文介绍了一种针对具有口音的输入语音和术语密集的内容进行科学会议演讲翻译的语音翻译系统，使用了 kNN-MT 方法进行有效适应，该系统远优于其端对端对应物。

Jun, 2023