Oct, 2021

SpecTNT: 用于音乐音频的时频变换器

PDF
TL;DR本文介绍了一种基于 Transformer 网络的音频处理系统 SpecTNT，使用自己提出的 Transformer-in-Transformer 架构实现了同时建模时域和频域信息的效果，在乐曲分析的任务上达到了当时最好的性能。
transformersspectntaudio processingmusic signalstemporal sequences
发现论文，激发创造
  • 分层频时间转换的自动钢琴转录

    提出了一种名为 hFT-Transformer 的自动音乐转录方法，该方法利用了两种级别的分层频率 - 时间 Transformer 结构，能够捕捉音频中的长期依赖关系，并在评估中表现出最先进的性能。

    Jul, 2023

  • 光谱时空图神经网络用于轨迹预测

    这篇论文提出了一种名为 SpecTGNN 的图神经网络，它结合了时域和频域中的信息来实现对自主车辆和社交移动机器人周围环境的运动预测，获得了目前公开数据集上预测精度方面的最优表现。

    Jun, 2021

  • 变形金刚中的变形金刚

    本文提出了一种新的 Transformer 结构，即 Transformer iN Transformer（TNT），旨在提高图像处理中变换器的性能，通过在局部感知机制内利用可忽略计算成本的注意力机制以进一步将图像局部细化，从而在 ImageNet 基准测试中实现了 81.5% 的 Top-1 准确率，较相似计算成本的最先进的可视变换器高出 1.7%。

    Feb, 2021

  • FastSpeech: 快速、健壮、可控的文本到语音

    本研究提出了一种基于 Transformer 模型、并行生成梅尔频谱的快速语音合成模型 FastSpeech，它在语音质量、稳定性、可控性和速度方面均具备相应优点。

    May, 2019

  • 可解释的多时段时间序列预测的时间融合变压器

    介绍了一种名为 Temporal Fusion Transformer（TFT）的基于注意机制的新型深度学习模型，以高效且可解释的方式解决多步预测中存在的多个输入和时间动态性问题，在实际数据集上表现出显著的性能和可解释性。

    Dec, 2019

  • TNT-KID: 基于 Transformer 的神经网络标签器用于关键词识别

    本研究提出了一种基于 transformer 框架和领域特定文本预训练的新型关键词提取算法 ——Transformer-based Neural Tagger for Keyword IDentification (TNT-KID), 有效地解决了现有的监督和无监督学习方法在关键词提取上所存在的不足，而且只需要较少的手动标注数据，在多个数据集上达到了较优的表现，并对其内部机制进行了详细的误差分析和关键组件消融实验。

    Mar, 2020

  • 基于时间 - 频率感知器的多轨音乐转录

    本文提出了一种新型的深度神经网络结构 Perceiver TF，用于多音轨音乐转录，通过引入分层扩展和额外的 Transformer 层来建模音频输入的时间 - 频率表示，从而实现 12 种乐器和声音的多任务学习，结果表明该系统在各种公共数据集上的性能优于现有的其他对手。

    Jun, 2023

  • Nested-TNT: 多尺度特征处理的分层视觉 Transformer

    Transformer 在计算机视觉领域得到应用，其在自然语言处理方面表现出色，超越了传统卷积神经网络并取得了新的最先进结果。通过将图像分割成多个局部补丁，即 “视觉句子”，ViT 实现了这一目标。然而，图像所包含的信息是庞大而复杂的，仅关注 “视觉句子” 级别的特征是不够的。为了进一步提高性能，TNT 模型提出了进一步划分图像为更小的补丁，即 “视觉词”，得到了更准确的结果。Transformer 的核心是多头注意力机制，传统的注意力机制忽略了不同注意力头之间的相互作用。为了减少冗余并提高利用率，我们引入了嵌套算法，并将 Nested-TNT 应用于图像分类任务。实验证实，所提出的模型在数据集 CIFAR10 上比 ViT 和 TNT 分别提高了 2.25%、1.1%，在数据集 FLOWERS102 上分别提高了 2.78%、0.25% 的分类性能。

    Apr, 2024

  • 一种针对音频信号处理的内容自适应可学习时频表示

    本文提出了可学习的自适应内容前端用于音频信号处理，通过卷积神经网络学习基础函数和权重优化特定任务，同时提出了一种计算内容自适应可学习时频表示的方法，实现了学习有限冲激响应滤波器组，并根据输入信号的内容通过最优滤波器组传递输出信号。

    Mar, 2023

  • 技术报告：图谱谱令牌 - 增强图变换器的谱信息

    通过引入图谱记号和图谱信息，我们提出了一种新颖的方法，将图谱的全局结构直接编码到变换器架构中，以增强图变换器的效果和性能。

    Apr, 2024