Oct, 2022

Museformer: 面向音乐生成的精细和粗粒度注意力 Transformer

PDF
TL;DR提出了一种新颖的 Transformer 模型 Museformer，它采用了细粒度和粗粒度的注意力机制来生成音乐，能够通过细粒度注意力机制捕捉音乐结构相关的关联，通过粗粒度注意力机制捕捉其他上下文信息，并且可以比完全注意力机制生成长度超过 3 倍的高质量音乐序列。
发现论文，激发创造
  • 音乐变形器

    提出了一种使用修改后的相对注意力机制来设计变形金刚神经网络的算法，用于音乐作曲、演奏和生成任务，并在 JSB Chorales 和 Piano-e-Competition 数据集上获得了最先进的结果。

    Sep, 2018

  • 多轨音乐变换器

    提出了一种新型的多轨音乐表示方式，可以同时包含多种不同类型的乐器，并实现了基于音乐自注意力的实时即兴演奏，该方法在速度和内存占用方面都具有优势。

    Jul, 2022

  • 使用自我关注实现可解释的音乐标记

    提出了一种基于自注意力机制的深度序列模型，用于解决音乐信息检索问题，并且相比于传统的卷积和递归神经网络方法，该模型更具可解释性且具有竞争力的结果。

    Jun, 2019

  • 复合词变压器：学习在动态有向超图上组合全歌曲音乐

    该论文提出了一种新型 Transformer 解码器架构，其用于不同的前馈头来模拟不同类型的 tokens，以及一种扩展 - 压缩技巧将邻近的 tokens 分组成复合单词的序列，表现出比现有模型更快和同等质量的学习能力.

    Jan, 2021

  • Fovea Transformer：高效的结构化精细到粗糙注意力长上下文建模

    Fovea Transformer 是一种以长 - context 为中心的 Transformer 模型，通过在输入序列中构建一个多尺度树来提高模型对全局依赖性的捕捉能力，并在长 - context 摘要任务上取得了最先进的性能。

    Nov, 2023

  • Gramformer: 通过图模态变换器学习人群计数

    提出了一种名为 Gramformer 的图模块化 Transformer 方法，解决了传统 Transformer 在人群计数中存在的同质化关注问题，并通过引入注意图和中心性编码的方案，增强了网络的性能和竞争力。

    Jan, 2024

  • Multiformer：基于可配置头部的 Transformer 模型的直接语音翻译

    本文提出了一种基于 Transformer 的新模型 Multiformer，它可以根据任务需要在不同的头上应用不同的注意力机制，从而有力地解决了长序列和相邻 token 冗余等问题。同时，我们发现各头权重分布均匀的模型可以取得更好的效果。

    May, 2022

  • FIGARO：以细粒度艺术控制生成符号音乐

    本文提出了自监督的描述 - 序列生成任务，该任务可以在全局层次上精细地控制生成的序列，具有很强的推理偏差，并将高层级特征与领域知识相结合，在符号音乐生成方面实现了最先进的结果。

    Jan, 2022

  • 合唱变换器：使用变换器上的相对注意力生成多音乐

    提出了一种适用于多声部音乐生成的神经网络模型 Choir Transformer，并引入了相对位置注意力机制以更好地建模音乐的结构，提出了适用于多声部音乐生成的音乐表示方法。Choir Transformer 的性能超过了之前最先进的准确率达到 4.06%。实验证明其和巴赫音乐的和声度接近。在实际应用中，生成的旋律和节奏可以根据特定输入进行调整，从而产生不同风格的音乐，如民谣音乐或流行音乐等。

    Aug, 2023

  • Treeformer: 高效注意力计算的密集梯度树

    本文提出了一种名为 Treeformer 的新型 transformer 模型，通过采用基于决策树的层次化导航方法，将 attention 计算的检索成本从线性降低为几乎对数级，同时使用 TF-Attention 和 TC-Attention 两种 attention 层实现了性能优于基准 Transformer 30 倍 FLOPs 的结果。

    Aug, 2022