Feb, 2024

ChatMusician：理解和生成音乐的 LLM 方法

PDF
TL;DR我们介绍了 ChatMusician，这是一个开源的大型语言模型，基于在 ABC 符号表示和音乐作为第二语言上进行连续预训练和微调的 LLaMA2，它能够理解和生成音乐，并能够创作结构良好、完整的音乐作品，超过了 GPT-4 基准模型。
large language modelschatmusicianmusic generationabc notationmusicpile
发现论文，激发创造
  • MusiLingo：使用预训练语言模型在音乐字幕和查询响应中连接音乐和文本

    MusiLingo 是一个创新系统，通过使用单个投射层将来自预训练的冻结音乐音频模型 MERT 和冻结的 LLaMA 语言模型中的音乐表示对齐，弥合了音乐音频和文本环境之间的差距，从而在音乐字幕生成和音乐相关的查询响应中展现了竞争性能。

    Sep, 2023

  • SongComposer: 歌曲生成中用于歌词和旋律创作的大型语言模型

    SongComposer 是一种创新的基于 LLM 的歌曲作曲技术，通过利用 LLM 的能力来理解和生成具有象征性歌曲表示的旋律和歌词，通过符号化歌曲表示的方式，使 LLM 能够像人类一样明确地作曲，通过 SongCompose-PT 预训练数据集的收集和充分的预训练，SongComposer 在歌词到旋律生成、旋律到歌词生成、歌曲延续和文本到歌曲创作等领域展现出优越的性能。

    Feb, 2024

  • 数学家的大型语言模型

    大型语言模型（LLMs）如 ChatGPT 因其通用的语言理解能力而备受关注，尤其是它们生成高质量文本或计算机代码的能力。在本文中，我们讨论它们在何种程度上可以辅助数学专家，并提供了现代语言模型中使用的变压器模型的数学描述。基于最近的研究，我们概述了最佳实践和潜在问题，并报告了语言模型的数学能力。最后，我们揭示了 LLMs 改变数学家工作方式的潜力。

    Dec, 2023

  • 音乐理解 LLaMA：通过问题回答和字幕提升文本至音乐生成

    文中提出的 MU-LLaMA 模型通过 MusicQA 数据集的训练，在音乐问答和音乐配音生成方面取得了出色的表现，超越了当前领先的模型，并为 T2M-Gen 研究领域带来了有希望的进展。

    Aug, 2023

  • MusicAgent：大型语言模型的音乐理解和生成 AI 代理

    通过集成多种音乐相关工具和一个自动化工作流，MusicAgent 系统旨在解放用户，使他们能够专注于创造性工作，从而提供无缝且丰富的音乐体验。

    Oct, 2023

  • ComposerX: 多智能体符号音乐创作与 LLMs

    通过引入一个基于代理的符号音乐生成框架 ComposerX，我们进一步探索和提升 LLMs 在音乐创作中的潜力，结果表明 ComposerX 能够产生具有吸引力的连贯多声部音乐作品，并遵守用户的指导。

    Apr, 2024

  • 语言模型是鼓手：使用自然语言预训练进行鼓乐合成

    本研究提出使用深度模型进行跨领域的知识迁移，将大规模预训练的语言模型应用于鼓演奏的 MIDI 文件生成。研究表明，GPT3 模型能够生成相对合理的鼓声，但使用其他没有预训练的模型却无法实现。同时，作者还提出了定制结构评估方法，以比较生成的音乐与专业音乐家演奏的音乐，并揭示了此种方法的优缺点。该研究表明，使用大型语言模型进行跨领域迁移学习具有应用前景。

    Jan, 2023

  • MentalLLaMA: 基于大型语言模型的社交媒体可解释性心理健康分析

    开发了第一个用于社交媒体上的可解释性心理健康分析的开源语言模型系列 MentalLLaMA，并通过 IMHI 数据集在正确性和解释质量方面接近最先进的判别方法。

    Sep, 2023

  • AudioGPT：理解与生成语音、音乐、声音和说话人头像

    本文提出了一种名为 AudioGPT 的多模 AI 系统，该系统结合了基础模型来处理复杂的音频信息和解决许多理解和生成任务，以及支持口语对话的输入 / 输出接口（ASR，TTS），并通过一系列实验证明了 AudioGPT 在多轮对话中具有语音、音乐、声音和对话理解和生成任务的能力。

    Apr, 2023

  • 利用语音识别能力激发大型语言模型

    通过直接添加小型音频编码器，扩展大型语言模型的能力，实现与其文本版本相同的自动语音识别系统，并在 Multilingual LibriSpeech 上的实验证明，即使在 LLM 被冻结或者音频编码器使用几乎 1 秒的步幅生成更少嵌入时，多语种 ASR 仍然可行，从而为 LLMs 在长篇音频中进行操作开辟了可能性。

    Jul, 2023