Jul, 2022

MEG-MASC：一个用于评估自然语音处理的高质量脑磁图数据集

PDF
TL;DR该研究提供了一个标准的数据集 MEG-MASC，测量了 27 个英语说话者听两个小时自然故事时的脑电活动，这有助于大规模的脑电编码和解码分析。
meg-mascmagnetoencephalographynaturalistic storiesbrain imaging data structuretemporally-resolved brain responses
发现论文，激发创造
  • MAD：多对多 MEG 到文本解码

    本研究提出了一种使用多重对齐框架将脑电信号转换为文本的新方法，通过在 MEG 信号中直接生成全新的文本，实现了令人印象深刻的 BLEU-1 得分，极大地超越了基线模型，显示出实现 BCI 研究的潜力。

    Jun, 2024

  • 从非侵入式脑记录中解码语音

    通过对大量受试者进行对比学习，使用自我监督方法设计的神经网络可以从无创脑电图数据中有效识别自由自然语言，为实现从脑电图中实时解码自然语音处理提供了有前途的途径。

    Aug, 2022

  • 解码神经信号为语音

    在该论文中，我们首次探索了基于跨注意力的 “whisper” 模型，通过 MEG 信号直接生成文本，而无需教师强制，实现了令人印象深刻的 60.30 和 52.89 的 BLEU-1 得分，该论文还对有关神经解码任务的语音解码形成进行了全面的回顾。

    Mar, 2024

  • 脑解码：朝着实时重建视觉感知迈进

    通过基于高时间分辨率的 MEG 测量脑活动，利用生成型和基础型人工智能系统解码大脑活动，特别是通过功能性磁共振成像 (fMRI) 解码视觉感知，从而在实时应用方面取得了重大进展。

    Oct, 2023

  • MUG: 通用会议理解和生成基准

    本研究旨在促进口语处理技术的发展，建立了一个大规模的 MUG 基准以对广泛的 SLP 任务的性能进行基准测试，包括主题细分、主题和会议层面的摘要和主题标题生成、关键短语提取和行动项检测。

    Mar, 2023

  • GigaSpeech: 一个拥有 10,000 小时转录音频的不断发展的多领域 ASR 语料库

    本论文介绍了一个新的、多领域的英语语音识别语料库 ——GigaSpeech，它包含了来自有声读物、播客和 YouTube 等各种领域的高质量标记音频，提供了五个不同大小的训练子集，并提出了一种新的强制对齐和分割管道来创建适用于语音识别训练的句子段，并过滤出低质量的转录片段。最终在 Athena、ESPnet、Kaldi 和 Pika 等流行的语音识别工具包上，提供了基准系统。

    Jun, 2021

  • EARS: 一个用于语音增强和去混响的各向同性全频通话语音数据集的基准测试

    发布了 EARS（Expressive Anechoic Recordings of Speech）数据集，包含来自不同背景的 107 位说话者，总计 100 小时的干净、无混响的语音数据。数据集涵盖了多种不同的讲话风格，包括情感性语音、不同的阅读风格、非语言声音和自由对话式语音。通过一组仪器度量评估了数据集上的各种语音增强和去混响方法，并对语音增强任务进行了 20 个参与者的听力测试，优选了一种生成方法。此外，我们还引入了一个盲测试集，用于自动在线评估上传数据。数据集下载链接和自动评估服务器可以在网上找到。

    Jun, 2024

  • EMNS /Imz/ Corpus: 游戏、电视和图像小说叙事中感情色彩丰富的单一演讲者数据集

    本文介绍了情感化叙事语料库 (EMNS) 数据集的构建，该数据集包含高质量的英式英语语音，具有标记的话语，可增强动态和表现性语言的交互式体验。该数据集提供了更高质量和清洁的录音，以帮助更自然和表现性的语音合成技术用于交互式叙事驱动的体验，同时还公开了远程和可扩展的数据收集系统供研究社区使用。

    May, 2023

  • MaSS：基于圣经的大型干净语言对齐口语预料库

    提出 MaSS 数据集，基于世界各地包含该圣经的语言录制了 8,130 个平行口语表达，通过样本质量的人工评估，证明了该数据集对构建自然语言处理系统（尤其是多语言间的语音转写和翻译任务）的有效性。

    Jul, 2019

  • EMMT：面向多模式阅读和翻译场景的同时眼动、4 电极脑电和音频语料库

    该研究收集了 43 名参与者在英语到捷克语翻译任务中的单眼运动记录、音频和 4 通道脑电图（EEG）数据，可用于翻译过程研究和认知科学等多个领域。

    Apr, 2022