Jul, 2024

大型语言模型在音乐中能否“推理”？对其音乐理解与生成能力的评估

HTML
PDF
TL;DR研究针对大型语言模型（LLMs）在符号音乐理解和生成方面的表现进行了深入分析，发现它们在复杂音乐任务中存在多步推理能力不足的问题。该论文提出，当前LLMs在音乐知识的运用上存在局限，建议未来研究应注重弥合音乐知识与推理之间的鸿沟，以提升音乐创作者的协作体验。
发现论文，激发创造
  • LLark: 一个用于音乐的多模态基础模型

    音乐理解和LLark的多模态模型的数据集创建、多模态架构、以及基于开源音乐数据和模型进行训练的结果和代码。

    Oct, 2023

  • ChatMusician：理解和生成音乐的 LLM 方法

    我们介绍了ChatMusician，这是一个开源的大型语言模型，基于在ABC符号表示和音乐作为第二语言上进行连续预训练和微调的LLaMA2，它能够理解和生成音乐，并能够创作结构良好、完整的音乐作品，超过了GPT-4基准模型。

    Feb, 2024

  • SongComposer: 歌曲生成中用于歌词和旋律创作的大型语言模型

    SongComposer是一种创新的基于LLM的歌曲作曲技术，通过利用LLM的能力来理解和生成具有象征性歌曲表示的旋律和歌词，通过符号化歌曲表示的方式，使LLM能够像人类一样明确地作曲，通过SongCompose-PT预训练数据集的收集和充分的预训练，SongComposer在歌词到旋律生成、旋律到歌词生成、歌曲延续和文本到歌曲创作等领域展现出优越的性能。

    Feb, 2024

  • 符号音乐生成中的结构建模：图案、短语与更多

    模拟音乐结构在生成符号音乐作品的人工智能系统中至关重要但具有挑战性。本文概述了整合连贯结构的技术的演变，从符号方法到基础和转换的深度学习方法，利用计算和数据在各种训练范式中的强大能力。最新阶段，我们评述了一种新兴技术，称为“子任务分解”，它涉及将音乐生成分解为独立的高级结构规划和内容创作阶段。这些系统通过提取旋律的骨架或结构模板来引导生成过程，从而纳入某种形式的音乐知识或神经符号方法。从审查的三个时期来看，已经取得了在主题和重复方面的进展，但在模拟人类作曲家风格下的扩展音乐作品中细微主题的发展仍然很困难。我们概述了几个关键的未来方向，以实现结合所有考察时期方法的协同效益。

    Mar, 2024

  • ComposerX: 多智能体符号音乐创作与LLMs

    通过引入一个基于代理的符号音乐生成框架ComposerX，我们进一步探索和提升LLMs在音乐创作中的潜力，结果表明ComposerX能够产生具有吸引力的连贯多声部音乐作品，并遵守用户的指导。

    Apr, 2024

  • 解锁预训练音乐语言模型的潜力以实现多轨音乐编排的多功能性

    本研究解决了如何有效利用预训练的大型音乐语言模型进行可控音乐编排的挑战。我们提出了一种统一的序列到序列框架，使符号音乐语言模型能够在多种编排任务中进行微调，显著提高了音乐质量。这一工作不仅拓宽了音乐生成的应用范围，还证明了预训练阶段为模型提供了理解音乐条件的关键知识。

    Aug, 2024

  • 大型语言模型在音乐学中的角色：我们是否准备好信任机器？

    本研究探讨了大型语言模型在音乐学中的应用及其可靠性，针对专家和学生的讨论评估了这一技术的接受度和关注点。我们提出了一种半自动方法，通过提取增强生成模型和多项选择题生成创建初步基准，并由人类专家验证，发现当前常规大型语言模型在可靠性上逊色于基于音乐词典的检索增强生成。

    Sep, 2024

  • 大型语言模型中的和谐推理

    本研究探讨了大型语言模型在音乐任务中的推理能力，特别是逻辑思维和计数的挑战。通过测试GPT-3.5和GPT-4o，我们发现尽管模型在音符间隔上表现良好，但在识别和弦和音阶等复杂任务时存在显著局限。这一发现揭示了当前模型的不足，为未来的改进指明了方向，可能推动其在艺术和其他复杂领域的应用。

    Sep, 2024

  • 音乐理解基础模型的调研

    本研究解决了传统音乐分析模型无法有效捕捉音乐复杂特征的问题，提出了利用大型语言模型和基础模型的方法来实现更深入的音乐理解。研究发现，这些模型在语义层面处理复杂音乐理解任务时表现出色，具有接近人类感知的能力，推动了音乐与人工智能交叉领域的深入研究。

    Sep, 2024

  • 预训练语言模型在音乐理解中的评估

    本研究针对当前音乐信息研究中预训练语言模型在音乐知识评估方面的不足，提出了三种主要问题：提示敏感性、否定建模能力不足及对特定词汇的敏感性。通过使用Audioset本体生成三元组，并评估六种通用Transformer模型的音乐知识，发现尽管准确率相对较高，但模型间存在不一致性，表明必须对现有模型进行音乐方面的适配。

    Sep, 2024