Aug, 2023

基于知识蒸馏的肌电静默语音界面的集成模型

PDF
TL;DR声音障碍影响着全球数百万人。本研究提出了一个基于轻量级深度学习知识蒸馏集成模型的表面肌电图静默语音接口（KDE-SSI），并对其进行了广泛实验证实了其有效性，获得了 85.9% 的测试准确率。研究结果还为便携、实用设备的端到端系统提供了启示。
voice disorderssilent speech interfacessemg-based ssideep learningkde-ssi
发现论文，激发创造
  • 提高了的无声语音识别模型

    本文提出了一种改进的模型，利用面部肌电图信号合成音频，并使用卷积层和 Transformer 层提取特征和传递信息，在预测语音音频特征的同时引入了辅助任务来提供更好的信号，实现了在开放词汇清晰度评估上表现出绝对提高了 25.8% 的最新技术水平。

    Jun, 2021

  • 无声语言的数字化发声

    本文介绍了使用静态肌电信号转换为可以听到的声音的新方法，该方法与语音训练模型相比，在肌电信号在进行无声口型时的表现有了长足提升，并共享了一个新的无声和有声肌电测量数据集。

    Oct, 2020

  • 基于跨模态方法的无声语音的 LLM 增强识别

    通过引入交叉模态对齐和监督时序对比的新型损失函数，我们提出了 Multimodal Orofacial Neural Audio (MONA) 系统，该系统为无声语音交流提供了一种非侵入性替代脑机接口。此工作代表了首次实现在开放词汇量下低于 15％的错误率的非侵入静默语音识别，不仅缩小了无声和发声语音之间的性能差距，还在噪声和数据受限制的情况下展示了交叉模态方法的潜力。

    Mar, 2024

  • 基于空间变换网络的舌头超声无声语音界面适应性

    利用深度学习算法从口腔运动数据中合成出可理解的语音，但相关模型区分度较高，对不同用户快速切换不便。该论文中利用空间变换网络（STN）模块扩展深度网络提高使用噪声下的语音接口模型的适应性，该方法有效降低了标准误差并提高了同一发言者不同录音周期的性能。

    May, 2023

  • 大规模自监督学习的语音分离

    本文探讨了如何扩大自监督学习（SSL）的规模，以更好地应用于语音分离问题。通过使用大量的预训练数据进行 fine-tuning，提出的模型在节省了 38% 计算成本的同时，相比于监督学习方法和基于 WavLM 的模型，在一些测试数据集上的单词错误率均有显著的改善。

    Nov, 2022

  • INESC-ID 多模态系统 - ADReSS 2020 挑战赛

    本文利用多模态方法，结合语音和文本特征，提出了自动检测阿尔茨海默病的分类框架，并发现语言特征对于阿尔茨海默病的分类比声学特征更为重要，能够提高分类准确率。

    May, 2020

  • 从无声视频中改善语音重构

    本文介绍了一种基于卷积神经网络的端到端模型，可将无声视频帧转化为可听、自然的语音信号，模型在 GRID 和 TCD-TIMIT 数据集上训练，并使用常见的客观指标评估重建语音的质量和可懂度，结果表明，本文提出的模型在预测语音方面比现有模型得分显著提高，同时展示了从无约束字典重构语音的有 promising 结果。

    Aug, 2017

  • 通过提炼韵律和语言情感表达的语音情感识别

    EmoDistill 是一个新颖的语音情感识别（SER）框架，利用跨模态知识蒸馏在训练期间从语音中学习强大的语言和韵律情感表示。在推断过程中，我们的方法仅使用一系列语音信号执行单模态 SER，从而减少计算开销并避免运行时转录和韵律特征提取错误。在 IEMOCAP 基准上的实验证明，我们的方法以相当大的优势胜过其他单模态和多模态技术，并实现了 77.49％的非加权准确率和 78.91％的加权准确率。详细的消融研究展示了我们方法的每个组成部分的影响。

    Sep, 2023

  • 基于神经结构学习的设备端语音情感识别知识迁移

    提出了一种基于神经结构化学习的轻量化模型训练框架，能够在边缘设备上有效地实现语音情感识别，提高模型性能，并降低模型大小。

    Oct, 2022

  • 非语言声音检测技术用于失语症言语障碍的研究

    介绍了一种使用口腔非语言声音控制的语音输入系统，该系统适用于语音障碍者；设计了数据集，考虑了模型部署和个性化；经过测试，模型实现了较高的精度和召回率，并且在个性化的情况下工作良好。

    Feb, 2022