扩散模型模拟人类行为
现代扩散模型在人工智能图像生成中处于领先地位。本研究发现,这种成功部分归因于在互联网规模的数据上进行训练,其中包括版权作品。研究通过使用 CLIP 编码器进行艺术家的模仿,验证模型是否能够成功模仿人类艺术家。
Jul, 2023
本文引入了 Motion Diffusion Model(MDM),这是一种经过精心设计的无分类器扩散生成模型,适用于人体运动领域,并在文本转运动和动作转运动的领先基准测试中实现了最先进的结果。
Sep, 2022
通过模仿学习,我们能够快速理解一个新任务,通过演示,我们可以直接获得哪些动作需要执行以及它们的目标的知识。本文介绍了一种新的模仿学习方法,解决了机器人模仿人类所面临的视角变化和身体模式等挑战。我们的方法可以利用单个人类演示来抽象展示任务的信息,并利用该信息进行泛化和复制。我们通过两种最先进的方法进行了新的集成:扩散式动作分割模型用于抽象演示的时间信息,以及开放词汇对象检测器用于空间信息。此外,我们通过符号推理来改进抽象的信息,并利用逆向运动学创建行动计划,以使机器人能够模仿演示的动作。
Jan, 2024
利用定性和定量指标以及用户研究,本论文主要研究了生成模型在面部图像生成中的有效性和不足之处,并提出了一个框架来审核生成的面部图像的特征。通过对最先进的文本到图像扩散模型生成的面部进行应用,我们发现面部图像生成存在的限制包括对文本提示的忠实度、人口统计不平衡和分布偏移。此外,我们还提出了一种分析模型,以了解训练数据选择如何影响生成模型的性能。
Sep, 2023
本文概述了 “扩散模型” 在图像合成、视频生成、分子设计等领域中的应用,并将相关研究分为三大类:高效采样、改进似然估计和处理具有特殊结构的数据。此外,还探讨了将扩散模型与其他生成模型相结合以获得更好结果的潜能,在计算机视觉、自然语言生成、时态数据模型等领域具有广泛的应用。本文旨在提供一个全面的扩散模型综述,指出其重点研究领域并指向未来的研究方向。
Sep, 2022
扩散模型是强大且通用的生成式人工智能技术,在计算机视觉、音频、强化学习和计算生物学等领域取得了巨大的成功。本文回顾了扩散模型的新兴应用,理解了它们在各种控制下的样本生成。同时,我们概述了现有的扩散模型理论,涵盖了它们的统计性质和采样能力。进一步地,我们评述了通过条件扩散模型进行高维结构化优化的新途径,将解决方案的搜索重新定义为条件采样问题,并通过扩散模型进行求解。最后,我们讨论了扩散模型的未来发展方向。本文旨在为刺激前瞻性的扩散模型理论和方法提供全面的理论介绍。
Apr, 2024
本文介绍了一种有效可扩展的算法,利用强化学习(RL)在各种奖励函数上改进扩散模型,包括人类偏好、组合性和公平性,从而有效地解决了扩散模型与人类偏好不一致的问题,同时提高了生成样本的组合性和多样性。
Jan, 2024
我们提出了一种基于扩散模型的即时人体运动风格转移学习方法,通过几分钟的微调学习,可以将未知的风格转移到不同的内容运动中,且仅需要一个风格示例和以中立运动为主的文本到运动数据集(例如 HumanML3D)。
Mar, 2024