本文介绍了 MusicGen 这个单一语言模型，能够生成高质量的音乐样本，实现对文本描述或旋律特征的有条件创作，并经过广泛的实证评估，表明其在标准的文本到音乐基准上优于其他模型。

Jun, 2023

本文探讨了大型语言模型（LLMs）在音乐的预训练中的应用。研究发现，LLMs 与 ABC 记谱法更加兼容，提高了音乐创作模型的性能。为了解决不同音轨间的错位问题，我们提出了一种名为 Synchronized Multi-Track ABC Notation（SMT-ABC Notation）的方法，旨在保持多个音乐音轨之间的一致性。我们的贡献包括一系列能够处理 8192 个标记的模型，覆盖了训练集中 90％的符号音乐数据。此外，我们还研究了符号音乐缩放定律（SMS Law）对模型性能的影响。研究结果表明了音乐生成领域未来研究的一个有前途的方向，并通过我们的开源贡献为社区主导的研究提供了丰富的资源。

Apr, 2024

基于多模态大型语言模型，提出了一种对话式符号回归方法 MLLM-SR，可以通过使用自然语言指令描述需求来生成满足要求的表达式。通过在 Nguyen 数据集上的实验证明 MLLM-SR 在拟合性能上超过了现有方法，并且可以很好地理解添加到自然语言指令中的先验知识，从而有效地引导其生成正确的表达式。

Jun, 2024

这篇论文比较了掩码语言模型和因果语言模型在文本生成任务上的表现，发现掩码语言模型在生成文本时具有更好的质量和连贯性，并且对下游任务的性能没有明显影响，从而显示了掩码语言模型在文本生成方面具有巨大的潜力并指导了未来研究的方向。

May, 2024

本文是一篇调查论文，研究了将自然语言处理（NLP）方法应用于符号音乐生成和信息检索的研究，提出了符号音乐的表示方法和深度学习模型，并讨论了 NLP 工具在符号音乐数据中的有效使用以及进一步研究的可能性。

Feb, 2024

本文研究在跨模态预训练中使用遮蔽语言建模（Masked Language Modeling，简称 MLM）的一些问题，提出了一些针对这些问题的替代遮蔽策略，在 LXMERT 模型预训练时，我们的替代策略始终优于原始遮蔽策略，特别是在低资源设置下，我们的预训练方法显著优于基准模型，并且通过对影像对象的特定标记任务的评估，我们的结果和分析表明，该方法允许更好地利用训练数据。

Sep, 2021

本文介绍了一种名为条件遮蔽语言建模（CMLM）的新型训练方法，用于在大规模未标记的语料库上有效地学习句子表示。CMLM 通过在编码相邻句子的向量上进行条件处理，将句子表示学习整合到 MLM 训练中。我们的英语 CMLM 模型在 SentEval 上取得了最先进的性能，并且胜过使用监督信号学习的模型。作为完全无监督的学习方法，CMLM 可以方便地扩展到广泛的语言和领域。我们发现，与位文检索（BR）和自然语言推断（NLI）任务共同训练的多语言 CMLM 模型在跨语言语义搜索等方面比以前最先进的多语言模型的基准模型有了很大的提高，例如改进了基准模型 10％。我们探索了学习表示的相同语言偏见，并提出了一种简单的，基于模型的方法来从表示中删除识别语言的信息，同时仍保留句子语义。

Dec, 2020

本文提出了一种称为 Pseudo-Masked Language Model（PMLM）的新训练程序，用于预训练统一的语言模型以处理自动编码和部分自回归语言建模任务，并通过自我注意力掩码和位置嵌入来避免冗余计算，在自然语言理解和生成任务方面取得了新的最先进的结果。

Feb, 2020

本文介绍了一种新的神经机器翻译数据增强方法，可以在语言内外强制实现更强的语义一致性。结果表明，条件掩蔽语言模型是一种生成上下文相关单词分布的有效技术，并集成了软词替换的思想，以增强数据多样性，加强语义一致性。该方法在四个规模不同的翻译数据集上进行的实验结果，展示了更真实的数据增强和更好的翻译质量，相对于强和最新的工作，我们的方法一致实现了最佳性能，并相对于基线改进了高达 1.90 BLEU 分数。

Sep, 2022

本文探讨了基于生成式口语语言建模（GSLM）的语音建模潜力，介绍了其在口语和语音处理中编解码的有效性和重构实验结果。

Jun, 2023