基于空间变换网络的舌头超声无声语音界面适应性

May, 2023

基于空间变换网络的舌头超声无声语音界面适应性

Adaptation of Tongue Ultrasound-Based Silent Speech Interfaces Using Spatial Transformer Networks

László Tóth, Amin Honarmandi Shandiz, Gábor Gosztolya, Csapó Tamás Gábor

TL;DR利用深度学习算法从口腔运动数据中合成出可理解的语音，但相关模型区分度较高，对不同用户快速切换不便。该论文中利用空间变换网络（STN）模块扩展深度网络提高使用噪声下的语音接口模型的适应性，该方法有效降低了标准误差并提高了同一发言者不同录音周期的性能。

Abstract

Thanks to the latest deep learning algorithms, silent speech interfaces (SSI) are now able to synthesize intelligible speech from articulatory movement data under certain conditions. However, the resulting models

silent speech interfaces deep learning algorithms spatial transformer network ultrasound tongue imaging session adaptation

发现论文，激发创造

基于 DNN 的声学到发音器反演，使用超声舌像

本研究采用深度神经网络方法，通过分析声音信号，逆推计算日常生活中使用的超声成像技术下的舌头构造，研究采用特征点空间和原始超声图像两种方式表征舌头构造信息的效果，并用 MSE、SSIM 等质量指标对结果进行测试与总结。

Apr, 2019

基于自编码器的超声默读口形与声学映射

通过对超声图像训练自编码神经网络，将神经网络的输入特征从像素级别转移为自编码器的瓶颈层激活，以更高的效率和准确性估计语音合成所需的频谱参数。

Apr, 2019

大规模流式端到端语音翻译基于神经转录器

本文介绍了如何将神经转录器引入流式端到端语音翻译（ST）中，提出了基于注意力池化的 Transformer transducer（TT）模型以及在多语言 ST 中的应用，结果表明 TT 模型不仅显著减少了推理时间，而且在英德翻译上优于基于 ASR 和 MT 的非流式级联 ST。

Apr, 2022

基于知识蒸馏的肌电静默语音界面的集成模型

声音障碍影响着全球数百万人。本研究提出了一个基于轻量级深度学习知识蒸馏集成模型的表面肌电图静默语音接口（KDE-SSI），并对其进行了广泛实验证实了其有效性，获得了 85.9% 的测试准确率。研究结果还为便携、实用设备的端到端系统提供了启示。

Aug, 2023

基于标签同步的神经转录器的端到端同时语音翻译

LS-Transducer-SST 是一种用于实时语音转写和同时语音翻译的标签同步神经转导器，通过集成 - 发射机制实现了灵活决策翻译标记的时机，并且能在解码和训练时控制延迟与质量之间的权衡。实验结果表明，LS-Transducer-SST 在质量 - 延迟权衡方面优于现有的流行方法。

Jun, 2024

RealTranS: 基于卷积加权缩减 Transformer 的端到端实时语音翻译

本文提出了一种基于端到端模型的实时同声传译技术 RealTranS，通过交错的卷积和单向 Transformer 层逐渐对输入语音进行降采样，再通过带权收缩操作和语义编码器将语音特征映射到文本空间。此外，为了提高模型性能，本文提出了 Blank Penalty 和 Wait-K-Stride-N 策略，实验表明 RealTranS 模型在多种延迟设置下优于先前的端到端模型及级联模型。

Jun, 2021

基于跨模态方法的无声语音的 LLM 增强识别

通过引入交叉模态对齐和监督时序对比的新型损失函数，我们提出了 Multimodal Orofacial Neural Audio (MONA) 系统，该系统为无声语音交流提供了一种非侵入性替代脑机接口。此工作代表了首次实现在开放词汇量下低于 15％的错误率的非侵入静默语音识别，不仅缩小了无声和发声语音之间的性能差距，还在噪声和数据受限制的情况下展示了交叉模态方法的潜力。

Mar, 2024

利用自监督学习和注意力机制改进通过唇图像重建的超声舌图像

本文探讨了如何通过可观察的唇部图像序列，预测相应的舌头运动，使用自监督学习，卷积网络和长短时记忆网络模型，并通过预测未来的超声波舌头图像序列来评估模型性能，结果表明我们的模型能够生成接近真实超声波舌头图像，并将图像模态之间的匹配提高了。

Jun, 2021

儿童语音的原始超声图像自动分级分类

自动检测语音障碍的提升方法：利用超声舌头成像技术结合深度学习模型，在语音障碍的分类中取得了显著的改善结果，并有助于提高语音治疗诊所中的超声舌头成像分类的效率。

Feb, 2024

基于离散单元的风格转换的语音到语音翻译

直接语音到语音翻译（S2ST）结合了离散的自监督表示，取得了显著的准确性，但无法在翻译过程中保留源语音的说话人音色。我们提出了一个基于自监督模型的离散单元和神经编解码器的 S2ST 框架，用于样式转换。声学语言模型利用自监督的上下文学习，获得了样式转换的能力，无需依赖任何说话人平行数据，从而克服了数据稀缺的问题。通过使用大量的训练数据，我们的模型可以在之前未见过的源语言上进行零 - shot 跨语言样式转换。实验证明，我们的模型生成的翻译语音在高保真度和样式相似性上表现出色。音频样本可在此网址获取。

Sep, 2023