speech translation | BriefGPT

关键词speech translation

搜索结果 - 96

发掘 Web 规模语音模型的潜在能力，实现零样本任务的普适性
本文通过调整 Prompt 的方式，从三个任务 (音视频语音识别、混合语音识别、语音翻译) 入手，探究了该模型 Whisper 的应用性能。实验证明，相对于默认 Prompt，本文提出的 Prompt 在零 - shot 任务上的表现提升了
PDFa year ago
通过语音翻译辅助的端到端口语理解
利用跨语言语音翻译 (ST) 作为预训练任务可提高单语和多语意图分类，口语问答的性能，并探索模型的贝叶斯迁移学习和持续学习惯性。
PDFa year ago
ACL理解和弥合语音翻译的模态差距
本文研究对于 ST 和 MT 之间的通道差，提出了一种名为 Cress 的跨模态规范化方法。通过输出 ST 和 MT 的预测值，使用采样和不同训练权重来处理难以处理的情况，实现了在 MuST-C 数据集的八个方向上取得了显著效果。
PDFa year ago
使用去噪反向翻译提升级联无监督语音翻译
我们提出了一种基于叠层系统的语音翻译方法，使用全非配对数据训练了我们的无监督系统，并采用去噪回译法提高翻译结果。研究结果显示，我们的方法可以有效解决低资源语言数据难以获取的问题，并在某些语言对上表现出可比较的效果。
PDFa year ago
非参数知识蒸馏在端到端语音翻译中的解耦
无需转录，用非参数存储库从数据角度提高语音翻译数据效率
PDFa year ago
联合预测符号和持续时间实现高效的序列转换
介绍了一种用于序列到序列任务的新型 Token-and-Duration Transducer (TDT) 框架，该框架通过联合预测令牌及其持续时间来扩展传统的 RNN-Transducer 架构，可以提高序列传导任务上的准确性和推断速度。
PDFa year ago
选择性数据增强对于强健的语音翻译的影响
该论文介绍了使用端到端系统和噪声机器翻译数据增强策略来改进语音翻译，提高 BLEU 分数，该方法应用于英语 - 印地语语音翻译。
PDFa year ago
MixSpeech: 跨模态自学习中的音频 - 视觉流混合应用于视觉语音翻译和识别
本研究通过提出混合语音框架来克服跨语言视觉语音翻译中缺乏的可翻译数据问题，并提出在嘈杂环境下提高语音翻译效果的方法。
PDFa year ago
基于分段增强的语音翻译数据效用最大化（SegAugment）
提出了一种名为 SegAugment 的数据增强方法，通过音频分割系统重新分割每个文档的语音，以获取多个目标文本，并得到多个和不同的句子级视图，实现了语音翻译中的数据增强，平均 BLEU 分数增加了 2.2 个点，并且在低资源场景下增加了
PDF2 years ago
阿拉伯语至英语广播新闻的端到端语音翻译
本文介绍了第一个基于端到端范式的新闻广播阿拉伯语到英语语音翻译系统，并探讨了数据增强和转移学习等多种场景下基于管道和端到端的语音翻译系统的训练和比较。
PDF2 years ago
AAAI通过利用辅助语音和文本数据来改善端到端语音翻译
本文提出了一种将文本编码器引入预训练端到端语音翻译系统的方法，该方法可以提高适应一种模态到另一种模态的能力，特别是在源语言文本数据丰富的情况下，使得语音翻译模型可以从无标签和有标签数据中学习，并且还提出了一种去噪文本编码器的方法。在 MuS
PDF2 years ago
ArzEn-ST: 一个用于代码转换的埃及阿拉伯语 - 英语三语言言翻译语料库
本文介绍 ArzEn-ST 语料库的收集工作，该语料库为阿拉伯语 - 英语混合语音翻译语料库，并提出基准系统的机器翻译和语音翻译任务的结果。
PDF2 years ago
基于预训练模型的高效语音翻译
论文探究使用预训练模型构建高效的语音翻译模型，提出基于相似损失的方法以增强数据效率及提高翻译质量。
PDF2 years ago
LAMASSU：使用神经传导器进行流媒体跨语言语音识别和翻译
本文提出了一种使用神经转导器的流式语言无关的多语言语音识别和翻译模型，采用语言无关的多语言编码器显著提高了模型效果，并探究统一预测和联合网络的优缺点，通过给编码器输入目标 LID 和连接时序分类正则化的训练，不仅显著降低了模型大小，还取得了
PDF2 years ago
动态隐变量感知器实现高效语音翻译
该研究提出了一种使用感知器编码器和动态潜在访问训练的语音到文本转换技术，这种技术在 MuST-C 数据集上的三种语言中可以与 Transformer 基线模型的性能相匹配，并且可以在推理过程中灵活部署，适应多种计算预算，而不会导致显著降低翻
PDF2 years ago
最小化工作量数据增广方法用于自动语音识别和翻译
研究数据扩增技术，通过将原始数据例子进行连接来建立新的训练实例，以改善用于原始数据优化的 Transformer 和 Conformer 模型，增加了对另外四种非英语语言识别方面的准确性。并证明其也适用于语音翻译任务。
PDF2 years ago
EMNLP联合训练是否真的有助于级联语音翻译？
本文讨论语音翻译中级联系统带来的挑战以及应对这些挑战的方法，研究表明，直接利用数据进行联合训练无法显著提高级联系统的性能，建议寻找其他有效的方法来提高语音翻译的效率。
PDF2 years ago
EMNLPRedApt:wav2vec 2 编码适配器，更快更小的语音翻译无损质量
通过使用 Reducer Adaptor block，将 pretrained wav2vec 2 speech encoder 与 Transformer-based speech encoding architecture 无缝集成，可
PDF2 years ago
EMNLPSpeechUT：基于编码器 - 解码器的语音 - 文本预训练中隐藏单元的桥接
本文提出了 SpeechUT 单一模态语音单元与文本预训练模型，使用隐藏单元对齐语音和文本，并分别使用未配对的语音和文本数据进行联合预训练。该方法在自动语音识别和语音翻译任务中取得了最先进的性能。
PDF2 years ago
自动化分段 ST 语料库的自动字幕技术解决数据瓶颈问题
本研究提出了一种利用多模态方法将现有的语音翻译资料转换为符合 SubST 准则的字幕翻译资料的方法。通过训练一个基于音频和文本结合的分段模型，实现高质量的自动分段，并通过对比实验验证了该方法的有效性。
PDF2 years ago