Dec, 2023

JAMMIN-GPT: 利用 LLMs 在 Ableton Live 中进行基于文本的即兴创作

PDF
TL;DR我们介绍了一个系统，允许 Ableton Live 的用户通过用音乐描述命名来创建 MIDI 片段。用户可以通过在 Ableton 的片段视图中直接输入所需的音乐内容进行作曲，然后由我们的集成系统插入。这使得用户能够保持创作过程的连续性，同时快速生成音乐创意。该系统通过提示 ChatGPT 使用一些基于文本的音乐格式（例如 ABC 符号、和弦符号或鼓谱）来回复，这是将生成式 AI 工具整合到现有音乐工作流程中的重要一步，对于喜欢通过描述性语言表达创意愿景的内容创作者可能很有价值。代码可在此 URL 中获取。
ableton livemidi-clipsmusical descriptionsgenerative ai toolscreative vision
发现论文，激发创造
  • LyricJam Sonic: 实时创作与音乐即兴表演的生成系统

    本论文介绍了一种名为 LyricJam Sonic 的创新型音乐创作工具，采用双模式人工智能驱动方法，具可自主或现场演出的功能，能够帮助电子音乐家重新发掘他们以前的录音，并在实时中创作新的音乐作品。

    Oct, 2022

  • ChatMusician：理解和生成音乐的 LLM 方法

    我们介绍了 ChatMusician，这是一个开源的大型语言模型，基于在 ABC 符号表示和音乐作为第二语言上进行连续预训练和微调的 LLaMA2，它能够理解和生成音乐，并能够创作结构良好、完整的音乐作品，超过了 GPT-4 基准模型。

    Feb, 2024

  • 利用 GPT-3 生成音乐解释

    本文研究了 GPT-3 在通过文本解释来表达音乐决策方面的能力，结果表明 GPT-3 缺乏理解音乐决策的必要智能，解决该问题的主要障碍是缺乏艺术家创作音乐时解释过程的数据资源。

    May, 2022

  • AudioGPT：理解与生成语音、音乐、声音和说话人头像

    本文提出了一种名为 AudioGPT 的多模 AI 系统，该系统结合了基础模型来处理复杂的音频信息和解决许多理解和生成任务，以及支持口语对话的输入 / 输出接口（ASR，TTS），并通过一系列实验证明了 AudioGPT 在多轮对话中具有语音、音乐、声音和对话理解和生成任务的能力。

    Apr, 2023

  • LaunchpadGPT：将语言模型作为音乐可视化设计师在 Launchpad 上

    提出了基于语言模型的 LaunchpadGPT 模型，以音频为输入并输出如何在 Launchpad 上自动演奏和呈现音乐可视化的光效视频，该方法比随机生成的方法能够创建更好的音乐可视化效果，并具有更广泛的音乐可视化应用潜力。

    Jul, 2023

  • ChatGPT 在生成式人工智能和大型语言模型时代的简明调查

    ChatGPT 是 OpenAI 创建的一种大型语言模型 (LLM)，通过大量数据的精心训练，推动了自然语言处理 (NLP) 的发展，并拓展了 LLM 的能力边界。本文主要目标是对 ChatGPT 及其演变的当前研究方向进行简明概述，提供了基于玻璃盒和黑盒观点的综合分析。此概述也揭示了 LLM 和 GAI 领域的现有和缺失研究方向，有益于公众用户和开发人员。

    Jul, 2023

  • ChatGPT: 最终的编程助手吗？—— 它有多远？

    我们通过实证分析了 ChatGPT 在无人辅助编程助手方面的潜力，并强调了其相对程序生成、程序修复、代码摘要方面的表现，并对其在常见编程问题上的表现进行了评估，这证明 ChatGPT 有效地处理典型的编程挑战，但我们也发现，综合的描述可能会限制 ChatGPT 的关注点并阻碍其利用其广泛的知识进行问题解决。

    Apr, 2023

  • 语言模型是鼓手：使用自然语言预训练进行鼓乐合成

    本研究提出使用深度模型进行跨领域的知识迁移，将大规模预训练的语言模型应用于鼓演奏的 MIDI 文件生成。研究表明，GPT3 模型能够生成相对合理的鼓声，但使用其他没有预训练的模型却无法实现。同时，作者还提出了定制结构评估方法，以比较生成的音乐与专业音乐家演奏的音乐，并揭示了此种方法的优缺点。该研究表明，使用大型语言模型进行跨领域迁移学习具有应用前景。

    Jan, 2023

  • GPT-4 作为研究人员和计算软件之间的接口：提高可用性和可重复性

    GPT-4 在计算材料科学中应用可以解决科学软件采用自定义输入语言的挑战以及由于描述模拟方法不足导致的研究结果复现性差的问题，通过生成正确的输入文件和详细的计算任务描述，减少研究者常规任务、加速新用户培训并提高结果可复现性。

    Oct, 2023

  • MotionGPT：经过微调的 LLM 是通用运动生成器

    本文提出了一种使用多模态控制信号的运动通用生成器（MotionGPT），它将多模态信号作为大型语言模型（LLMs）中的特殊输入令牌来生成连续的人类动作，是首次使用多模态控制信号生成人类动作的方法。

    Jun, 2023