测量扩散模型在模仿人类艺术家方面的成功
本研究使用 “多样性 vs. 可识别性” 评分框架，对一次性扩散模型进行了改进，并发现其可以生成看起来似乎是人类所绘制的图画，但在细节原创性和可识别性方面仍不如人类所绘制的图画，这一差距可以部分地被不同的视觉策略所解释。
Jan, 2023
我们的研究通过对部分版权侵权进行探究，并使用与版权有很大差异的提示，解决了以往研究的局限性。我们开发了一个数据生成流程，为扩散模型中的版权研究创建数据集。使用我们的流程，我们创建了包含不同扩散模型中版权侵权样本的数据集，并在各种标准下进行评估。我们的结果显示，在一系列扩散模型中生成侵权内容的普遍性，包括最新的稳定扩散 XL 模型。
Sep, 2023
本文研究了图像检索框架，让我们能够比较生成的图像与训练样本，并检测什么时候复制了内容。我们使用这个框架分析了多个数据集上训练的扩散模型，包括牛津花卉，Celeb-A，ImageNet 和 LAION，讨论了训练集大小等因素对内容复制率的影响。同时，我们还发现了一些这种扩散模型直接从其训练数据中复制的情况，包括流行的稳定扩散模型。
Dec, 2022
最近的文本到图像生成模型（如稳定扩散）非常擅长模仿和生成受版权保护的内容，这引起了艺术家们的担忧，他们担心自己的独特风格可能会被不当复制。为了解决这个问题，本文将 “艺术版权侵权” 问题重新定义为对图像集进行分类问题，而不是探究图像间的相似性。我们首先介绍了 ArtSavant，这是一个实用的工具，通过与由 WikiArt 策展的 372 位艺术家作品组成的参考数据集进行比较，可以确定艺术家的独特风格，并识别其是否出现在生成的图像中。我们利用两种互补的方法对图像集进行艺术风格分类，包括 TagMatch，这是一种新颖且可解释的方法，更适合非技术相关的利益相关者（艺术家、律师、法官等）广泛使用。利用 ArtSavant 进行大规模实证研究，以量化的方式揭示了三种流行的文本到图像生成模型中艺术风格被复制的普遍情况。在包括许多著名艺术家在内的大量艺术家的数据集中，仅有 20％的艺术家的风格有被当今流行的文本到图像生成模型简单指令提示复制的风险。
Apr, 2024
本文研究了图像扩散模型，如 DALL-E 2，Imagen 和 Stable Diffusion，发现它们从训练数据中记忆单个图像并在生成时发射此类图像，总结了此类模型的隐私风险和影响隐私保护培训的新进展。
Jan, 2023
本研究通过研究使用 Stable Diffusion 生成的合成图像作为 ImageNet 分类训练模型的数据集对比实际图像，探讨在训练图像预测模型时实际图像是否已经被合成图像取代，并发现在某些标准模型分类基准下训练合成图像可以缩小与真实图像训练模型之间的差距，从而展示训练合成图像的模型优秀的概括泛化性能和传输表现。
Dec, 2022
本研究在于探讨将扩散模型用于观察到行为模型，以模仿人类在连续环境中的行为。研究发现扩散模型可充分学习联合行动空间的表达分布，具有表现力强等优点。实验结果表明，扩散模型能够精确匹配真实人类行为及控制任务等多方环境表现。
Jan, 2023