- 实时结构流
介绍了结构流场的构造,该流场可以为高速机器人设备和自动驾驶汽车的动作控制提供高速的运动信息。通过使用图像和深度测量来设计一个预测 - 更新算法,以实时计算结构流。
- MotionBooth: 运动感知定制文本到视频生成
我们呈现了 MotionBooth,一个创新的框架,设计用于以精确控制对象和相机运动方式来为自定义主题提供动画效果。我们利用特定对象的几张图片,有效地微调一个文本到视频模型,以准确捕捉对象的形状和特性。我们的方法采用主题区域损失和视频保护损 - 图像导体:交互式视频合成的精准控制
提出了一种从单张图像生成视频资产的方法,通过 Image Conductor 实现了摄像机转换和物体移动的精确控制,并通过训练策略、引导技术和数据处理流程进一步改进,展示了在交互式视频合成中实现精准控制的效果。
- 通过延迟策略学习改善空中和陆地移动机器人控制的泛化性能
通过延迟策略更新技术(DPU)对航空和陆地移动机器人进行的分析表明,这种技术极大地缓解了推广能力不足的问题,并加速了代理的学习过程,提高了它们在各种任务和未知场景中的效率。
- CVPR可编程开放式运动控制任务的动作生成
在实际场景中的字符动画需要各种约束条件,如轨迹、关键帧、互动等。我们提出了一种可编程的运动生成新范式,通过将运动控制任务分解为原子约束的组合,并将其编程到误差函数中,实现生成满足约束的运动序列,以此解决动作控制的开集问题。实验证明在处理一系 - X-Portrait: 表情丰富的分层动作关注人像动画
我们提出了 X-Portrait,一种创新的条件扩散模型,专门用于生成富有表现力且时间连贯的肖像动画。
- 协变强化学习框架在协调运动控制中的应用
利用 CoordiGraph,通过在学习过程中嵌入重力影响下的等变性原则来增强强化学习中的动作控制协调性,以提高对关节之间微妙关系建模的方法。与当前主要方法相比,CoordiGraph 显著提高了泛化和样本效率。
- DragAnything:使用实体表示的任意物体运动控制
DragAnything 利用实体表示来实现对可控视频生成中的任何对象的运动控制。与现有的运动控制方法相比,DragAnything 具有几个优势:轨迹为基础的方法更易于用户交互,不需要获取其他指导信号(例如,遮罩、深度图)的工作字眼;用户 - Boximator: 生成富有丰富和可控的动作用于视频合成
Boximator 是一种新的视频合成方法,通过引入硬盒和软盒两种约束类型,在条件帧中选择目标物体并在未来帧中粗略或严格定义其位置、形状或运动路径,以实现丰富且可控的运动;在训练过程中,通过冻结原始权重并仅训练控制模块,保持基础模型的知识; - AAAI基于 NeRF 的人脸再现的密集对应关系学习
我们提出了一种新颖的框架,使用三面体平面作为基本 NeRF 表示,并将面的三个部分分解为:规范三面体平面、身份形变和运动。在运动控制方面,我们的主要贡献是提出了一个平面字典(PlaneDict)模块,它将运动条件高效地映射到可学习的正交平面 - MotionCtrl:统一灵活的视频生成运动控制器
该论文介绍了 MotionCtrl,这是一个用于视频生成的统一和灵活的运动控制器,通过有效和独立地控制相机运动和物体运动,实现更精细的运动控制和促进两种类型运动的灵活多样组合。
- 基于表现性潜变空间的无监督人机动作转接
利用深度学习方法实现人到机器人动作重定向,无需人与机器人动作数据对齐,构建共享的潜空间并进行机器人运动控制,通过简单线性插值生成中间动作,多种输入模态下的机器人控制全面评估,与现有工作相比,在增加自然人机沟通的能力和提升机器人融入日常生活的 - 无需专家操控标签的强大自主车辆追踪
本文介绍了一种用于车辆追踪的自动驾驶学习方法,其中包括运动控制、训练模型、数据增强和卷积神经网络等关键技术。
- 基于巴康汉姆 π 定理的无量纲策略:是否是推广数值结果的好方法?
通过修改问题表述,使用无量纲变量重新利用数值生成的特定系统的最优控制器,在维度相似的子空间中,演示了对经典运动控制问题(摆动受限倒立摆)的最优控制器的复用。此外,我们还讨论了区域概念,即上下文变量空间中的一个区域,它有助于放宽对维度相似性的 - 任务控制下的复合动作学习
本文提出了一个深度学习方法,用于对物理模拟角色的复合和任务驱动运动控制,该方法使用多个鉴别器在 GAN 类似的设置中直接同时从多个参考运动中为特定身体部位学习解耦运动。
- 神经动态运动基模 —— 综述
该论文对神经动态运动原理进行文献综述,强调了深度学习对于动态运动原理的研究所带来的影响,并探讨了在机器人领域生产准确的轨迹和控制机器人动态参数的挑战。
- 使用四足机器人进行分层强化学习,掌握精确的足球射门技巧
本文提出了一种层次化的框架,利用深度强化学习使四足机器人能够在现实世界中执行精确的射击技能,包括鲁棒的运动控制策略和运动规划策略,应用于 A1 四足机器人中,实现了将足球精确射向目标的目的。
- CVPR神经 MoCon: 用于物理合理的人类动作捕捉的神经运动控制
利用物理模拟器来捕捉人类运动的动力学约束条件,通过基于 SDF 的交互约束来获得准确参考运动,然后使用采样分布进行运动控制,并训练所需的分布先验,从而可以捕捉到具有地形交互、人体形状变化和多样化行为的物理合理的人类运动。