ACLApr, 2022

端到端的语音翻译用于代码切换的语音

PDF
TL;DR本篇研究关注英语 / 西班牙语对话中出现的代码转换，探讨在语音翻译任务中采用级联和端到端、单向和双向等不同架构的模型表现，得出双向端到端模型表现良好的结论。
code switchingnlpspeech translationenglish/spanish conversationsst architectures
发现论文，激发创造
  • 端到端语音识别中的语言无关代码切换

    本文研究提出一种简单而有效的数据增强方法，以在缺乏大量语料库的情况下训练多语言系统，进而提高 Code-Switching 语音的自动识别水平。通过将不同源语言的音频和相应标签连结在一起训练神经网络端到端 (E2E) 模型，实现在跨句子语言转换方面的提高。

    Oct, 2022

  • 汉英混合口语端到端语音识别的解决方案

    该论文以声音识别为例，探讨行话中的语言混杂现象，并提出一种多任务学习的解决方案，并针对代码切换情境下的数据稀疏问题提出了词汇扩展方法，并在 SEAME 数据上进行了实验验证。

    Nov, 2018

  • 面向现实世界的流式语音转换翻译

    该研究聚焦于实时交流中的语种转换问题以及第三种语言的翻译，并通过将现有数据集扩展到西班牙语和德语，训练了离线和实时语音翻译模型，并建立了基准结果。

    Oct, 2023

  • 无切换编码：语言无关的端到端语音翻译

    我们提出了一种语言无关的端到端语音翻译模型（LAST），并提出了一种数据增强策略来提高代码切换性能。通过使用此模型，我们可以在处理多种语言混合的自然语音时，无需使用语言特定的语音识别和翻译组件，并显著减少延迟和错误率。

    Oct, 2022

  • 实现端到端的代码交替语音识别

    本文通过混合 CTC-Attention 模型，不同建模单元，语言识别以及不同解码策略等对汉英混合口语识别任务进行了研究，并在 SEAME 语音库上实现了 34.24% 的混淆误差率。

    Oct, 2018

  • CoSTA: 使用对齐的语音文本交替进行混合编码的语音翻译

    通过先前训练好的自动语音识别 (ASR) 和机器翻译 (MT) 模块的结合，本研究提出了一种名为 COSTA 的端到端模型架构，用于印度语言到英文文本的混合语言实时翻译，并发布出相关评估基准。COSTA 在混合语言的孟加拉语、印地语、马拉地语和泰卢固语到英文文本的翻译中，相对于其他基线模型表现出显著优势，BLEU 点数提高达 3.5。

    Jun, 2024

  • 多语言端到端语音翻译

    本文提出了一种简单且有效的多语言端到端语音翻译框架，并证明了其在自动语音识别、机器翻译、一对多翻译以及多对多翻译中的有效性以及相对于双语端到端语音翻译的优势。

    Oct, 2019

  • 端到端语音到文本翻译：综述

    语音到文本翻译中的端到端模型的综述，包括模型、评估指标和数据集，提供了挑战和未来研究方向的新见解。

    Dec, 2023

  • 减少端到端语种混淆的自动语音识别

    本文基于等价约束理论提出了一种语言相关的注意机制，将单语数据转化为多语数据应用于端到端的自动语音识别中，获得了相对误差减少 17.12% 的优异性能。

    Jan, 2022

  • El Volumen Louder Por Favor: 任务导向的语义解析中的语码转换

    本研究的重点在于 Spanglish，提出了两种数据增强方法解决 CS 样本不足问题，结合少样本的情况，使零样本和全数据的准确度差距缩小了三分之二。

    Jan, 2021