Sep, 2023

国际多语言会议的自动逐字转录开发：端到端解决方案

PDF
TL;DR本文介绍了一个端到端的解决方案，用于创建完全自动化的会议纪要并对其进行多种语言的机器翻译。该工具由世界知识产权组织（WIPO）使用内部开发的语音转文本（S2T）和机器翻译（MT）组件开发。除了描述数据收集和调优，从而创造出高度定制和强大的系统，本文还描述了技术组件的体系结构和演变，并突出了用户方面的业务影响和收益。我们还指出了系统演化和采用过程中的特定挑战，以及新方法如何创建了新产品，并取代了会议管理文档中现有的工作流程。
发现论文，激发创造
  • 在线音视频会议转录技术进展

    本研究论文介绍了一种使用麦克风阵列和 360 度摄像头生成会议演讲者注释转录的系统，该系统能够处理重叠性语音并使用连续语音分离方法解决该问题。同时，还通过融合脸部跟踪和识别、声源定位、演讲者识别及先前演讲者信息的在线音频视觉演讲者日记化方法，提供了一个名为 SRD 的会议转录框架，并使用 11 名与会者的会议录音的实验结果表明，连续语音分离方法相对于高度调整的波束成形技术可将字词错误率降低 16.1％。当有完整的与会者名单时，字词错误率与演讲者归属字词错误率之间的差异仅为 1.0％，表明字词与演讲者之间的关联准确无误。当 50% 的与会者对系统不知情时，差异略有增加，为 1.6%。

    Dec, 2019

  • 听写翻译：端到端语音转文本翻译的概念验证

    本文是第一篇尝试构建不使用源语言转录的端到端语音到文本翻译系统的论文，并提出了一种直接语音到文本翻译的模型，在一小部分法英人造语料库上取得了有希望的结果。

    Dec, 2016

  • 从语音到语音翻译到自动配音

    本文提出了一种基于神经网络的语音 - 语音翻译系统，实现了自动配音。实验结果表明自动配音的自然度得到了显著提升，包括多个技术创新点，如神经机器翻译、音频渲染、语音对位、语音合成等。

    Jan, 2020

  • 有声读物端到端自动语音翻译

    本研究旨在探讨在经过语料库特殊增强的情况下，对语音到文本翻译进行端到端的研究。我们不仅研究了在学习和解码期间没有源语言转录的极端情况，还研究了在训练时仅提供源语言转录的中间情况。实验结果表明，在这种设置下，可以训练出紧凑高效的端到端语音转换模型。同时，我们提供了语料库，并希望未来的研究能够挑战我们在该语料库上的语音翻译基线模型。

    Feb, 2018

  • 端到端语音到文本翻译：综述

    语音到文本翻译中的端到端模型的综述，包括模型、评估指标和数据集，提供了挑战和未来研究方向的新见解。

    Dec, 2023

  • 高质量文本转语音数据集生成的自动化端到端开源软件

    通过集成特定语言的音位分布、自动化录制过程、自动化和人机协同质量保证、以及记录的处理以符合指定格式，本文引入了一种端到端工具以生成文本到语音 (TTS) 模型的高质量数据集，以满足对高质量数据的重要需求，从而简化 TTS 模型的数据集创建过程，促进基于语音的技术的发展。

    Feb, 2024

  • 多语言端到端语音翻译

    本文提出了一种简单且有效的多语言端到端语音翻译框架，并证明了其在自动语音识别、机器翻译、一对多翻译以及多对多翻译中的有效性以及相对于双语端到端语音翻译的优势。

    Oct, 2019

  • KIT 的 IWSLT 2023 多语言语音翻译系统

    本文介绍了一种针对具有口音的输入语音和术语密集的内容进行科学会议演讲翻译的语音翻译系统，使用了 kNN-MT 方法进行有效适应，该系统远优于其端对端对应物。

    Jun, 2023

  • MeetDot：视频会议与实时翻译字幕

    MeetDot 是一个视频会议系统，支持 4 种语言的实时翻译字幕，使用了自动语音识别和机器翻译相结合，并通过重译策略实现流媒体语音的翻译，并在用户体验方面实现了多种功能，如流畅滚动字幕和减少字幕闪烁，并提供了一个内置的评估套件来优化核心的评估指标，同时还提供了一个语言游戏作为衡量系统全面性能的外在评估指标，将在未来开源。

    Sep, 2021

  • 语音的一致转录和翻译

    本研究探索了一种同时实现语音转写和翻译的方法，并比较了传统串联式方法和端到端模型的表现。研究发现，直接模型不适用于这一任务，但采用耦合推理过程的端到端模型能够实现强一致性。此外，研究还引入了直接优化一致性的简单技术，并分析了一致性、转写准确性和翻译准确性之间的权衡。

    Jul, 2020