Dec, 2023

基于深度生成网络的语音融合生成的神经语音嵌入

PDF
TL;DR脑到语音技术可直接将脑信号转化为语音，通过神经表征学习与语音合成相结合，以提高自然交流的流畅性，可能为非语言沟通带来创新。本文介绍了当前的脑到语音技术，探讨了脑信号转化为语音的可能性，并对执行语音时的神经特征和神经语音嵌入进行了综合分析，这对于语音合成的工作具有重要作用。
发现论文，激发创造
  • 神经语音合成调查

    本文全面调研了神经网络 TTS 在包括文本分析、声学模型、声码器等方面的研究进展，进一步总结了相关资源（数据集、开源实现），并提出了未来的研究方向。

    Jun, 2021

  • 解码神经信号为语音

    在该论文中，我们首次探索了基于跨注意力的 “whisper” 模型，通过 MEG 信号直接生成文本，而无需教师强制，实现了令人印象深刻的 60.30 和 52.89 的 BLEU-1 得分，该论文还对有关神经解码任务的语音解码形成进行了全面的回顾。

    Mar, 2024

  • 建模语音变化的神经表征

    研究使用自我监督的神经模型从语音中提取声学嵌入，计算非英语母语和英语母语以及挪威方言发音之间的基于单词的差异，并发现使用转换器的神经模型提取的语音表示与人类感知匹配得更好。

    Nov, 2020

  • 深度之声：实时神经文本转语音

    Deep Voice 是一个使用深度神经网络构建的优秀的文本到语音系统，由五个主要组成部分构成，包括用于定位语音边界的分段模型、字素到音素转换模型、音素持续时间预测模型、基频预测模型和音频合成模型。通过使用神经网络进行每个组件的构建，既简单又灵活。此外，我们通过优化后的 WaveNet 推断内核，实现了 400 倍的实时速度。

    Feb, 2017

  • 基于语音的手势生成输入输出特征分析

    本文提出了一种新的自动化语音驱动姿势生成框架，适用于人 - 代理交互，包括虚拟代理和机器人，并首次将表示学习应用于语音驱动姿势生成。

    Mar, 2019

  • 迈向被动听取语音期间脑活动的解码

    研究目的是调查言语知觉的复杂机制，并最终解码在听取言语时发生的大脑电生理学变化。我们尝试使用深度学习方法从颅内脑电数据中解码听到的言语，目标是促进言语合成的脑 - 机接口技术的发展，并为言语知觉的认知过程提供额外的视角。这一方法不同于传统的言语产生焦点，而选择调查感知言语的神经表达。通过利用深度学习模型的能力，研究旨在建立这些复杂神经活动与相应言语声音之间的联系。尽管该方法尚未取得突破，但研究揭示了解码言语知觉期间神经活动的潜力。我们目前的努力可以作为基础，并且我们对拓展和改进这项工作以更接近先进的脑 - 机接口、更好地理解言语知觉过程及其与口语之间的关系的潜力持乐观态度。

    Feb, 2024

  • 人工神经网络中基于大脑启发的学习策略综述

    本篇论文全面综述了现今人工神经网络中基于仿生学学习机制的表示，研究了加入更多仿生意义机制如突触可塑性以加强网络能力的可能性和挑战，并找到未来的研究方向，以更深入理解智能的本质。

    May, 2023

  • 由人脑活动生成语言

    通过使用大规模语言模型（LLM）与语义脑解码器相结合，直接从功能性磁共振成像（fMRI）输入中生成与视觉或听觉语言刺激内容紧密相关的连贯语言序列，这证明了利用脑机接口（BCIs）直接生成语言的潜力和可行性。

    Nov, 2023

  • 深度神经网络和大脑中简单句子表示的相关性

    通过研究使用简单句法和语义的句子，探讨深度循环模型和大脑编码的联系及其应用，发现 BERT 的激活与 MEG 脑数据的相关性最好，同时深度神经网络表征可以用于生成新句子的脑数据以增强现有脑数据，并对使用深度神经网络表示生成合成脑数据进行了首次探索并表明其有助于提高后续刺激解码任务的准确性。此外，这是首次研究表明 MEG 脑记录在阅读句子中可以用来区分句子中较早出现的单词。

    Jun, 2019

  • 脑电信号的内部语音识别

    本文研究基于脑电信号的内部语音识别，利用公开的内部语音数据集，采用多种分类模型（支持向量机、极端梯度提升、LSTM 和双向 LSTM），获得了领先和接近于现有最先进方法的识别结果，将为失去说话能力的人提供有效的语音交流策略。

    Oct, 2022