Dec, 2023

InsActor: 指令驱动的基于物理的角色

PDF
TL;DR利用最新的基于扩散的人体运动模型，InsActor 提供了一种原则性的生成框架，可以根据高级人类指令生成基于物理的角色的动画，通过使用扩散策略进行灵活的条件化运动规划，以捕捉高级人类指令和角色动作之间的复杂关系，并在一个紧凑的潜在空间中发现低级技能和映射计划，以克服计划动作中的无效状态和不可行状态转换。大量的实验表明，InsActor 在各种任务中取得了最先进的结果，包括基于指令的动作生成和基于指令的航向点驱动。特别是，InsActor 利用高级人类指令生成物理模拟动画的能力使其成为一种有价值的工具，尤其适用于执行具有丰富指令集的长程任务。
发现论文，激发创造
  • 在 3D 场景中合成真实可行的人类动作

    构建了一个框架，通过分解人 - 场景交互为相互作用和导航两个基本过程，实现了在复杂的三维场景中进行长期交互任务的真实物理模拟角色。

    Aug, 2023

  • 合成物理特性与场景互动

    本文提出了一种使用对抗性模仿学习和强化学习来训练物理模拟角色表现场景交互任务的系统，无需手动注释大型非结构化运动数据，并且在训练过程中随机对象属性和其放置位置，从而能够推广到训练数据集中未呈现的物体和场景，并以自然的角色场景交互方式进行表现。

    Feb, 2023

  • 带有原子动作的语言引导的人体运动合成

    ATOM 通过将动作分解为原子动作，并采用课程学习策略来组合原子动作，从而更好地适应新动作。同时引入了渐进式的蒙版运动建模的课程学习训练策略，有效缓解了过拟合问题，并提高了运动表示的学习质量。通过广泛的实验，包括文本到运动和动作到运动合成任务，证明了 ATOM 的有效性，并展示了它在合成可行和连贯的文本指导人体动作序列方面的优势。

    Aug, 2023

  • 基于物理的从人体动作生成场景布局

    本研究提出了基于物理原理的方法，同时优化场景布局生成器和物理模拟器中的人体移动，以实现可信和真实的交互动作，通过最小化运动追踪误差以自动恢复和生成场景布局，并使用强化学习进行双重优化，通过重新塑造追踪奖励和估计的伪接触标签获得的姿势先验指导来促进优化，使用 SAMP 和 PROX 的动作进行评估，并与基于运动学的先前方法进行比较，展示了物理上可信的场景布局重建。

    May, 2024

  • IBSEN：导演 - 演员代理协作以实现可控互动戏剧脚本生成

    IBSEN 是一种导演 - 演员协调代理框架，旨在生成剧本、控制角色行为，并确保情节向目标发展。它通过编写剧情大纲、指导演员代理角色扮演以及在人类玩家参与情景时重新安排情节，生成完整多样的剧本，同时保持戏剧角色的特性。

    Jul, 2024

  • 在众多模拟世界中扩展可指示代理

    通过在虚拟 3D 环境中训练智能代理系统，使其能够在任何 3D 环境中遵循任意语言指令，这是创建通用人工智能的关键挑战。本文介绍了 Scalable, Instructable, Multiworld Agent (SIMA) 项目，该项目通过在不同类型的虚拟 3D 环境中训练代理系统来实现此目标，并在多样化的研究环境和商业视频游戏中取得了有希望的初步结果。

    Mar, 2024

  • OneActor：通过群集条件引导实现一致的角色生成

    針對文本到圖像擴散模型中的一致性生成的挑戰，提出了一種輕量級但複雜的引導方法，通過引入後驗樣本來引導去噪軌跡向目標集群集中，並設計輔助組件來同時增強調整過程和規範推理，以提高生成圖像的內容多樣性。綜合實驗結果顯示，該方法在角色一致性、提示一致性和圖像質量方面都優於基線方法，並且比基於調整的基線方法至少快 4 倍。此外，首次證明語義空間具有與潛在空間相同的插值特性，可作為另一種精細生成控制的有希望工具。

    Apr, 2024

  • AnySkill: 学习互动型代理程序的开放词汇物理技能

    通过开放词汇物理技能学习，在物理基于运动生成中，使用传统的基于物理的方法往往难以适应新的情景。为了解决这个限制，我们提出了一种名为 AnySkill 的层次化方法，该方法通过遵循开放词汇指令学习物理上可行的相互作用。我们的方法首先通过模仿学习训练低级控制器来开发一组原子动作。在接收到开放词汇文本指令后，AnySkill 采用高级策略来选择和整合这些原子动作，以最大化代理渲染图像与文本之间的 CLIP 相似度。我们方法的一个重要特点是在高级策略中使用基于图像的奖励，这使得代理能够学习与对象的相互作用，无需手动设计奖励。我们展示了 AnySkill 生成逼真自然的运动序列，以响应长度不同的未见指令情况，使其成为第一个能够开放词汇物理技能学习的互动人形智能体的方法。

    Mar, 2024

  • 基于物理模拟角色的多智能体对抗互动先验的模仿学习

    提出了基于多智能体生成对抗模仿学习的新方法，可以模拟多个基于物理的角色之间的互动与动作，并保留内在风格，通过训练使每个角色模仿与其相关的互动技巧。已通过拳击和全身武术等两种不同战斗风格进行了测试。

    Nov, 2023

  • 实现动画的任何人：一致且可控的角色动画图像到视频的合成

    通过扩展训练数据，我们提出了一种针对角色动画的新型框架，使用扩散模型来保持细节特征的一致性，通过空间注意力合并细节特征，引入高效的姿势指导器来控制角色运动，并采用有效的时间建模方法来实现视频帧之间的流畅过渡，相比其他图像到视频方法，在角色动画领域取得了卓越的结果。此外，我们在时尚视频和人类舞蹈合成基准上评估了我们的方法，取得了最先进的结果。

    Nov, 2023