Jun, 2024
网络弯曲的扩散模型用于音视频生成
Network Bending of Diffusion Models for Audio-Visual Generation
Luke Dzwonczyk, Carmine Emanuele Cella, David Ban
TL;DR使用预训练的生成式机器学习模型，本文介绍了第一步，即创造一个工具，使艺术家能够创建音乐可视化。通过利用各种点、张量和形态学操作来进行网络弯曲，我们发现这个过程能够产生多种视觉效果，包括一些难以使用标准图像编辑工具重新创建的效果。最后，我们运用稳定扩散和网络弯曲操作，生成具有音乐响应的视频，并对某些变换对图像和基于这些变换学习稳定扩散的潜在空间的可能性进行了讨论。