探索艺术中的可解释人工智能:解释生成音乐中的潜在空间
这篇论文通过对不同组合的 Variational Auto-Encoder 模型、AI 模型的潜在空间配置和训练数据集进行系统研究,表明 MeasureVAE 在音乐生成性能方面具有更好的重构表现,AdversarialVAE 在音乐属性独立性方面表现更好。结果展示了 MeasureVAE 能够通过可解释的音乐控制维度生成跨音乐流派的音乐,并且在生成简单的流行和摇滚音乐时表现最佳。建议在使用 MeasureVAE 生成跨流派音乐时,4 个正则化维度的 32 或 64 个潜在空间尺寸是最佳选择。这些结果是关于音乐生成的最详细的现代生成 AI 模型配置的比较,并可用于选择和配置 AI 模型、音乐特征和数据集以实现更易理解的音乐生成。
Nov, 2023
该研究使用 MeasureVAE 可解释的潜在维度的生成音乐 XAI 模型在爱尔兰民间音乐的训练数据集上进行了自传体研究,结果显示探索性的音乐创作流程突显了训练数据集的音乐特征而非生成模型本身的特征,XAI 模型在迭代工作流中的应用显示出其成为比其最初设计用途更丰富和复杂工作流的潜力。
Aug, 2023
通过定制化解释并根据反馈不断完善,提出了一种适用于音乐表演的可解释人工智能框架,强调了背景和受众在解释需求开发中的重要性,为提升广泛艺术应用和音乐表演中人工智能系统的透明度和可解释性提供了一个有前景的方向。
Sep, 2023
本文介绍了 LatentExplainer,这是一个自动化生成深度生成模型中潜变量语义有意义解释的框架,通过扰动潜变量和解释生成数据的变化,提供了一种系统的方法来理解和控制数据生成过程,增强了深度生成模型的透明度和可解释性。
Jun, 2024
本研究探讨了 Variational Autoencoders(VAEs)在将原始音频数据中生成潜在音频空间时的应用,提出了三种探索潜在音频空间和音色的策略以应用于声音设计,在为声音和音乐实践中利用潜在音频空间的艺术方法和策略方面开展了初步探索。
May, 2023
我们使用 Google 的 MusicVAE,一个具有 512 维潜在空间的变分自动编码器来表示几小节的音乐,并根据描述音乐的相关性组织潜在维度。我们发现,平均而言,大多数潜在神经元在输入真实音乐曲目时保持沉默:我们称这些为 “噪声” 神经元。剩下的几十个激活的潜在神经元被称为 “音乐” 神经元。我们探究哪些神经元携带音乐信息以及它们编码的音乐信息种类,即是否可以识别为音高、节奏或旋律。我们发现大部分关于音高和节奏的信息都编码在最开始的几个音乐神经元中:神经网络因此构建了一些非线性编码许多用于描述音高和节奏的人工定义变量的变量。旋律的概念似乎仅在较长的音乐序列中出现独立的神经元中。
Jul, 2023
本文研究自动生成模型的可解释性问题,结合三个软件工程应用场景,提出了人机交互的 XAI 设计方法,包括场景设计和问题驱动设计,并探讨了基于自动生成模型的代码生成、翻译和自动完成等功能的可解释性需求和设计思路。
Feb, 2022
人工智能(AI)目前主要基于黑箱机器学习模型,缺乏可解释性,解释性人工智能(XAI)的研究旨在解决这一主要问题;本论文提出一种基于范畴论的定义 AI 模型及其可解释性的方法,通过使用组合模型的概念,以形式化的字符串图表达抽象结构和具体实现,包括确定性、概率性和量子模型,并比较了广泛的 AI 模型作为组合模型,包括线性模型、基于规则的模型、(循环)神经网络、变换器、VAEs 以及因果图和 DisCoCirc 模型;定义了模型的解释性,演示如何分析模型的可解释性,并用此来阐明 XAI 中的共同主题;发现标准的 “本质可解释性” 模型在图表中展示得最清晰,从而引出了更一般的组合可解释(CI)模型的概念,其中还包括因果性、概念空间和 DisCoCirc 模型;演示了 CI 模型的可解释性益处,包括通过组合结构计算其他感兴趣量,通过匹配结构实现从模型到被模拟现象的推理,以及基于影响约束、图表手术和重写解释的图表解释行为;最后讨论了该方法的未来发展方向,提出了如何在实践中学习这种有意义结构的模型的问题。
Jun, 2024
分析空间变化效应在地理分析中至关重要,然而由于地理空间数据的复杂性和非线性,准确捕捉和解释这种变异性是具有挑战性的。本文介绍了一个集成框架,将局部空间加权方案、可解释人工智能(XAI)和先进的机器学习技术相结合,以弥合传统地理分析模型和通用机器学习方法之间的差距。通过对合成数据集的测试,验证了该框架在地理回归和分类中通过阐明空间变异性,提高了预测的解释性和准确性。它显著提升了预测精度,为理解空间现象提供了一种新的方法。
Mar, 2024