EMNLPOct, 2020

端到端语音翻译的自适应特征选择

PDF
TL;DR本文介绍了自适应特征选择（AFS）来优化基于编码器 - 解码器的端到端语音翻译，实验表明， 使用 AFS 来稀疏语音特征可以提高翻译效果，降低模型计算复杂度，并与级联基线模型相比取得了更好的性能，在 LibriSpeech En-Fr 上的 BLEU 分数达到了 18.56。
end-to-end speech translationadaptive feature selectionencoder-decodersparsificationbleu score
发现论文，激发创造
  • AFS：一种基于注意力机制的监督特征选择方法

    本研究提出了一种新颖的神经网络特征选择体系结构，称为基于注意力机制的特征选择（AFS），它包括两个可分离的模块：特征权重生成的注意力模块和问题建模的学习模块。 通过实验结果，AFS 在与多种最先进的特征选择算法的比较中表现出最佳的精度和稳定性。

    Feb, 2019

  • 基于自编码器的无监督特征选择

    本研究介绍了一种基于自编码器回归和组稀疏任务的无监督特征选择方法 AEFS，能够更灵活地选取高维数据中最重要的特征，实验结果表明该方法优于现有的方法。

    Oct, 2017

  • 一种嵌入式特征选择控制框架

    通过分析真实和虚拟世界中深度强化学习的响应，Dual-world embedded Attentive Feature Selection (D-AFS) 能够为动态控制下的系统高效选择相关的传感器，进而实现传感器选择最优化，通过在气动力学问题上的实际测试，该方法成功优化了 5 个探针布局，表明其在实验或工业系统的传感器优化方面具有广泛的应用前景。

    Jun, 2022

  • 手机功能提升语言翻译

    本研究比较了级联和端到端模型在不同资源条件下的性能，并在 ST 模型中引入电话特征以提高它们的表现，从而缩小了端到端模型与级联模型之间的差距。

    May, 2020

  • 面向语音识别的统一说话人适应方法

    本文提出了一种基于特征适应和模型适应的统一说话人自适应方法，其中采用一种说话人感知的持久性记忆模型进行特征适应，并使用一种新颖的逐步修剪方法进行模型适应。在 Librispeech 数据集上的实验结果表明，相对于基线方法，在一般说话人自适应和目标说话人自适应中使用所提出的方法可带来 2.74-6.52% 的词错误率下降，并且该方法具有良好的低资源适应性能。

    Oct, 2021

  • 说话人感知语音转换器

    本研究利用 Speech-Transformer (SST) 研究 E2E 模型的说话人感知训练，提出了一个 Speaker-Aware Speech-Transformer (SAST) 模型，在静态的说话人知识块基础上生成加权的说话人嵌入向量，成功地将训练说话人的因素规范化，相较于独立于某个特定训练说话人的 baseline 模型，SAST 取得了相对 6.5% 的 CER 减少。

    Jan, 2020

  • 面向语音识别的即时基于特征的发音障碍和老年人说话适应

    该研究提出了两种新型的基于特征的即时演讲者适应方法，即基于演讲者水平的方差规范化谱基础嵌入 (SBEVR) 特征和基于即时学习的隐藏单元贡献 (LHUC) 转换。实验结果显示，这两种方法在适应演讲者语音时表现出色，其中基于 SBEVR 特征的适应方式的性能优于基于模型的 LHUC 适应。

    Mar, 2022

  • A-SFS：基于多任务自监督的半监督特征选择

    通过引入基于深度学习的自监督机制，提出了一种批量注意力自监督特征选择（A-SFS）方法，该方法利用多任务自监督自编码器发现特征之间的隐藏结构，并通过批量注意力机制生成特征权重，以减少少量有噪音数据的影响。与 14 种主要的算法进行比较，实验结果表明，该方法在大多数数据集中具有最高的准确性，并且在降低对标签的依赖，并且对于噪声和丢失数据最具有鲁棒性。

    Jul, 2022

  • ESPnet-ST IWSLT 2021 离线语音翻译系统

    本研究描述了 ESPnet-ST 组在 IWSLT 2021 中提交的语音翻译模型。通过训练数据、模型架构和音频分割等方面的努力，结合多种技术如序列级知识蒸馏、Conformer 编码器等，同时使用模型组合达到了 31.4 BLEU 的最佳翻译性能。

    Jul, 2021

  • 使用光谱时域深度特征进行言语适应，在语音识别中应用于发音困难和老年人

    该研究提出了一种基于频谱分解的深度特征提取方法，用于通过个性化的演讲者自适应技术提高自动语音识别系统对肌肉发音障碍者和老年人的识别准确率。通过在四项任务中的实验表明，在应用该技术后，识别准确率有了显著的提高。

    Feb, 2022