Nov, 2021

主题变换器：带主题条件的符号音乐生成器

PDF
TL;DR本文提出了一种基于主题的条件控制机制，通过深度学习的对比学习和聚类技术自动提取音乐片段中的主题材料，并在序列到序列编码器 / 解码器结构中使用了一种新的门控并行注意力模块来更有效地考虑给定的感应主题材料，以生成具有重复和合理变化的多声部流行钢琴音乐。
transformer modelsmusic generationtheme-based conditioningdeep learningpolyphonic pop piano music
发现论文，激发创造
  • 主题扩充生成器用于抽象化摘要

    该研究提出了一种新的解码器，通过条件调整文本和文档的潜在主题来生成摘要，使用 LDA 等主题模型揭示了更多的全局语义信息，使解码器能够访问文本语料库级别的词共现统计信息，实验表明，与现有模型相比，该方法能显著提高 ROUGE 分数。

    Aug, 2019

  • 改变 Transformer 的思想以实现主题可控语言生成

    该研究设计了一个交互式写作辅助框架，它利用基于 Transformer 的语言模型为作者提供可能的续写文本主题，并允许作者选择其中一部分以引导生成，研究表明该框架的主题选择比标准的聚类方法更好且自监督的训练能够产生流畅且相关的句子。

    Mar, 2021

  • 基于 Transformer 的条件生成对抗网络用于多元时间序列生成

    本文通过引入编码上下文并在条件生成对抗网络中使用，扩展了基于 Transformer 的时间序列生成对抗网络 (TTS-GAN)，从而可以使用一个模型来拟合具有多个子组件的混合分布。通过定性和定量的评估指标，我们展示了该模型可以生成高维度和长时间序列数据，并在不同条件下具有较好的性能。

    Oct, 2022

  • 面向话题和知识的对话情感检测 Transformer

    本文提出了一种名为 Topic-Driven Knowledge-Aware Transformer 的模型，包含一种话题增强语言模型、基于对话情境信息的常识语句和一种转换器，用于识别情感标签序列中的话题和情感状态。实验结果表明，该模型在对话情感检测方面表现优于现有的最先进方法。

    Jun, 2021

  • 基于预训练的自然语言生成用于文本摘要

    本文提出了一种基于预训练的编码器 - 解码器框架，使用 BERT 编码输入序列来生成输出序列，采用 Transformer-based 解码器生成草稿输出序列，并将其与原始输入序列结合使用，使用 BERT 生成的草稿表示来预测遮罩位置的优化单词，进而在文本摘要任务上实现了最新的技术水平。

    Feb, 2019

  • 变形金刚作为神经增强器：通过变分贝叶斯实现类条件句子生成

    本篇论文提出了一种基于条件变分自编码器和编码 - 解码 Transformer 模型结合的神经数据增强方法，可以在句子级别捕捉自然语言处理任务的多样性，同时在监督任务上具有更好的泛化性能，实验证明该方法对于强化自然语言处理的下游任务有较好的效果。

    May, 2022

  • 条件语言生成的编码器无关适应

    本研究探讨了一种称为伪自关注的方法，将任意条件输入直接注入到预训练的转换器模型中，提高了语言生成任务的性能，保证了数据效率。

    Aug, 2019

  • 未来视角：利用大型预训练语言模型进行动态故事生成

    本文提出了一种基于预训练生成式 transformer 网络的方法 Future Sight，以实现未来条件限制的故事生成任务，在保留自注意机制的同时，增加了对未来情节的建模，使生成内容更有逻辑性和连贯性。

    Dec, 2022

  • 借助马尔科夫链的注意力：通过马尔科夫链分析 Transformer 的原则框架

    通过马尔可夫链的角度研究变压器的序列建模能力，并在理论和实验上研究数据分布特性、变压器结构、学习分布和模型性能之间的相互作用。

    Feb, 2024

  • 使用 Transformer 模型的有条件生成聊天机器人

    本文深入探讨了 Chabot 生成器及其生成的答案精度不足的挑战问题，并提出了一种新的端到端架构，利用 Wasserstein 生成敌对网络和变压器模型，同时在生成器和鉴别器模型中使用嵌入式变压器，以提高 Chabot 应答的准确性。实验结果表明，相比于现有的技术，该架构更加优越，尤其是在对于 Cornell 电影对话语料库和 Chit-Chat 数据集上的表现中体现更加明显。

    Jun, 2023