May, 2024
扩散模型中的混合使用 Black Scholes 算法
Prompt Mixing in Diffusion Models using the Black Scholes Algorithm
Divya Kothandaraman, Ming Lin, Dinesh Manocha
TL;DR我们介绍了一种新颖的方法来进行提示混合，通过使用预训练的文本到图像扩散模型，在扩散去噪的每个时间步中，我们的算法根据生成的图像预测预测，并做出明智的文本调节决策。通过借鉴非平衡热力学中与金融中期权定价的 Black-Scholes 模型的联系，并在两个情境中的变量之间进行类比，我们推导出了使用 Black-Scholes 模型进行提示混合的适当算法。我们的提示混合算法是数据高效的，不需要额外的训练，操作不需要人工干预或超参数调整。我们通过与其他提示混合技术（包括线性插值、交替提示、逐步提示切换和 CLIP 引导提示选择）在单个文本提示、多个物体提示以及物体与背景之间的各种情景下进行定性和定量比较来突出我们方法的优势。