speech-to-text | BriefGPT - AI 论文速递

关键词speech-to-text

搜索结果 - 19

ACL重新审视语音到文本生成的插值增强
通过插值增强技术在语音识别系统中构建虚拟训练样本能显著提升性能，为资源有限环境下更强健的语音识别系统提供了有希望的途径。
PDF12 days ago
关于异质数据源对语音转文字基础模型的影响
通过分析数据集，我们引入了 OWSM v3.2，采用两种关键策略（代理任务筛选数据和使用大型开放语言模型进行标点符号和大小写处理），从而提高了 Open Whisper-style Speech Model v3.1 基线的性能，并减少了
PDF21 days ago
ACL一种非自回归生成框架用于端到端同步任意语音翻译
我们提出了一种新颖的非自回归生成框架用于同时语音翻译 (NAST-S2X)，它将语音到文本和语音到语音任务整合到统一的端到端框架中。实验结果表明，NAST-S2X 在语音到文本和语音到语音任务中优于现有模型，在不到 3 秒的延迟内实现了高质
PDF23 days ago
语音转文本任务的高效个性化联邦学习
为了保护隐私并满足法规要求，提出了一种个性化的联邦语音转文本框架，通过引入轻量级的客户端调试和服务器交互模块，以减小通信开销；并通过使用全局模型配备的 k 最近邻分类器来捕捉客户端特定的分布偏移以实现个性化，并克服数据异质性。实验证明，该方
PDF6 months ago
国际多语言会议的自动逐字转录开发：端到端解决方案
本文介绍了一个端到端的解决方案，用于创建完全自动化的会议纪要并对其进行多种语言的机器翻译。该工具由世界知识产权组织（WIPO）使用内部开发的语音转文本（S2T）和机器翻译（MT）组件开发。除了描述数据收集和调优，从而创造出高度定制和强大的系
PDF9 months ago
ACL基于混合换能器和注意力编码器 - 解码器模型的语音转文本任务
通过结合 Transducer 和基于 Attention 的编码器 - 解码器 (AED) 框架，我们提出了一种新的 TAED 框架，它既具有非单调序列到序列学习的优势，又保持了 Transducer 的流式属性，通过在同一个语音编码器上
PDFa year ago
Google USM：扩展超过 100 种语言的自动语音识别
本论文介绍了通用语音模型（USM），它能够在 100 多种语言中自动识别语音，并使用多语言预训练和随机投影量化等技术来实现跨语言自动语音识别和语音到文本转换这些任务的最先进水平。同时，本文证明使用少量的标记数据集进行训练的 USM 模型在很
PDFa year ago
PATCorrect：非自回归音素增强 Transformer 用于 ASR 误差校正
本文提出了一种基于 Transformer 模型和音素编码器的新型非自回归（NAR）纠错方法，该方法通过减少单词错误率（WER）来提高转录质量，并在不同的上游 ASR 系统中实现了鲁棒性能，特别是在 GPU 硬件上实现了与其他 NAR 模型
PDFa year ago
使用 Transformer 进行韵律语音分割（PSST）
本文细调了一个预训练的 STT 模型 Whisper，将低频令牌重新用于标注语调单元（IU）边界，精度达到 95.8％，优于以往的方法，无需大规模标记数据或企业级计算资源，并且通过应用一系列滤波器来减小输入信号，发现在 3.2 kHz 级别
PDFa year ago
M3ST: 三级混合语音翻译
本文提出了一种基于数据扩充的语音翻译方法 M^3ST，通过在词级、句子级和帧级混合训练数据和使用外部机器翻译数据进行模型预训练和微调，再通过并行输入原始语音序列和原始文本序列进行模型微调，使用 Jensen-Shannon 散度对输出进行正
PDF2 years ago
EMNLPJoeyS2T：基于 JoeyNMT 的极简语音转文本建模
JoeyS2T 是一个扩展 JoeyNMT 用于语音转文字任务，如自动语音识别和端到端语音翻译的工具，使用卷积层等语音相关组件，并在英语语音识别和英语到德语语音翻译基准测试中表现良好。
PDF2 years ago
Face-Dubbing++: 视频的口形同步，保留音频的翻译
本文提出了一种基于神经网络的端到端系统，用于语音保留、唇面同步翻译视频，通过多个组件模型的组合，该系统能够在目标语言中生成保持语音强调、语音特征、原始扬声器面部视频的原始讲话者的视频，并在后续过程中使用人工智能技术进行语音识别、机器翻译、语
PDF2 years ago
SPGISpeech：5000 小时的财经音频文本，用于完全格式化的端到端语音识别
本文提出了一种新的语音转文字任务，即端到端的全格式文本转换，通过训练 Conformer-based 模型，成功实现了一个基线模型。
PDF3 years ago
COLING音频对抗样本：利用语音面具的攻击
我们构造了针对自动语音转文字系统的音频对抗样本，并将其应用于五种最先进的语音转文字系统，实验证明这些对抗样本可以欺骗机器，但人类可以轻易地辨识出其中的话语。这一攻击的可行性为研究机器和人类对话语的感知提供了一个新的领域。
PDF3 years ago
ACLfairseq S2T: 使用 fairseq 进行快速语音转文本建模
Fairseq S2T 是一款扩展 fairseq 的语音转文本建模工具，具备可扩展和可扩展性设计，提供端到端的工作流程，支持 RNN-based, Transformer-based 和 Conformer-based 模型，并可以无缝集
PDF4 years ago
MM基于云的人脸和语音识别门禁应用
本文介绍了一种基于人脸图像和语音识别技术的门禁系统，用于识别员工和访客。该系统通过人脸识别解锁入口门禁，通过语音识别服务为访客提供服务，并在硬件上使用两个 Raspberry Pi 和 Amazon Web Services 和 Googl
PDF4 years ago
长篇同传口译的再翻译策略
本研究针对如何实现长篇演讲等语音内容的同声传译问题，采用重新翻译的方式进行同步翻译，并提出了优化应用工具以加强稳定性的方法。研究结果表明，这种方法不仅延迟极低，翻译结果也具有高质量，能够轻易地进行多语言翻译。
PDF5 years ago
基于端到端的语音转文本翻译的比较研究
本文介绍了深度学习在语音到文本翻译领域的应用，主要研究了不同端到端架构以及辅助性连接主义时间分类（CTC）损失函数的使用，着重探讨了预训练模型对最终性能的影响，实验证明预训练模型可以使 BLEU 指标提高 4％，TER 指标提高 5％，并且
PDF5 years ago
低资源语音到文本翻译
通过实验研究，我们发现在资源有限的情况下，从字符级识别转化成单词级可以显著提高低资源语言语音翻译的速度，并且在训练数据相对较少的情况下，仍然可以实现相对较高的词汇精度和召回率。
PDF6 years ago