Feb, 2024

言语 - 歌曲错觉的理性分析

PDF
TL;DR语音到歌曲的幻觉是一种稳定的心理现象，即重复的口语句子听起来越来越像音乐。本文提供了一个形式化的解释，将其重新定义为一种统计推理，在这种推理中，一个理性的主体试图决定一系列话语更有可能是以歌曲还是口语的形式产生的。通过分析歌曲和口语的语料库，我们进一步介绍了一种基于文本的新型散文转歌词幻觉，即简单地复制书面句子使其更像歌词。我们在人类参与者和大型语言模型中提供了这种新幻觉的可靠证据。
speech-to-song illusionformal accountnuanced characteristicsstatistical inferenceprose-to-lyrics illusion
发现论文，激发创造
  • 说服的回响：优美音韵对说服性沟通的影响

    本文研究了音韵对于不同形式的说服力的影响，通过建模愉悦感并分析不同领域（政治演讲，电影引语，口号和推文）的数据集，进行了一系列分析和预测实验，并突出了音韵设备对说服力的积极作用。

    Aug, 2015

  • 应用句法 - 韵律映射假设和韵律完整性约束到神经序列到序列语音合成

    本文提出了一种基于 SPMH 和韵律良好性限制的语音合成模型，可有效地合成和复制日语语音中反映句法结构的语音特征，如初段降低、韵律增强等。

    Mar, 2022

  • 歌词相似性感知的计算分析

    比较分析了计算模型和人类感知中的歌词相似性，发现基于预训练 BERT 模型嵌入、歌曲音频和音素特征的计算模型能够准确表示感知中的歌词相似性，这一发现为相似性推荐系统的发展提供了伪标签和客观评估指标。

    Apr, 2024

  • 可演唱歌词翻译的计算评估框架

    本文介绍了一个计算框架，旨在定量评估可唱译歌词，该框架无缝地融合了歌曲、语言和文化维度；通过收集一个可唱歌词数据集，并进行可唱和不可唱歌词的比较分析，我们验证了我们框架的有效性；我们的多学科方法揭示了歌曲翻译艺术的关键因素，并为未来的计算歌词翻译评估奠定了坚实基础。

    Aug, 2023

  • 文本转歌曲：融合人声和伴奏的可控音乐生成

    本研究提出了一个称为文本到歌曲合成的新任务，结合了歌声和伴奏生成。我们开发了一种名为 Melodist 的两阶段文本到歌曲方法，它包括了歌声合成和声乐到伴奏合成。Melodist 利用三塔对比预训练来学习更有效的文本表示，用于可控的声乐到伴奏合成。我们构建了一个从音乐网站挖掘的中文歌曲数据集，以解决数据稀缺问题。我们数据集的评估结果表明，Melodist 能够合成具有可比质量和风格一致性的歌曲。音频样本可以在此 https 网址中找到。

    Apr, 2024

  • SongNet: 刚性格式控制文本生成

    SongNet 是一个基于 Transformer 的自回归语言模型，用于生成音乐歌词、十四行诗、宋词等格式严格的文本，相比于其他模型，在格式、韵律和句子完整性等方面都有较大改进。

    Apr, 2020

  • 不慎的耳语：语音转文本幻觉的危害

    评估了 OpenAI 的 Whisper 语音转文字服务，发现大约 1% 的音频转录中包含了并不存在于音频中的幻觉短语或句子，其中 38% 的幻觉内容包括暴力、虚构的个人信息或虚假的基于视频的权威，并提供了关于幻觉发生原因的假设，揭示了由语音类型和健康状况引起的潜在差异。呼吁业界从业者改善 Whisper 中基于语言模型的幻觉问题，并提高对语音转文字模型在下游应用中潜在偏见的意识。

    Feb, 2024

  • 从歌词中生成神经元旋律

    本文提出了一种基于序列到序列框架，利用神经编码器和分层解码器，结合自然语言和旋律创作音乐曲调及准确标定的模型，并在 18,451 首流行歌曲中的歌词 - 旋律匹配对上进行了实验，论文通过人工评估证明了模型生成的旋律比基线模型更优秀。

    Sep, 2018

  • TRBLLmaker -- 基于 Transformer 的歌词内部关系识别器

    本文主要介绍了使用 Transformer 架构的 GPT-2 模型实现歌曲歌词含义的生成方法，并且使用了 Genious API 获取了一些包含元数据及解释说明的歌曲数据集。

    Dec, 2022

  • 无监督的旋律引导歌词生成

    本文提出了一种基于分层框架和旋律 - 歌词对齐的歌词生成模型，能够在没有旋律 - 歌词对齐数据的情况下，通过对内容进行控制生成更可唱、更易懂、更连贯和有韵律的高质量歌词。

    May, 2023