我们研究了通过文本指令生成逼真的三维人 - 物互动问题。我们采用模块化设计，将复杂任务分解为简单子任务。我们开发了双分支扩散模型（HOI-DM）来生成人和物体的动作，并通过人和物体动作生成分支之间的交叉注意力通信模块来促进一致的动作。我们还开发了互动预测扩散模型（APDM）来预测通过文本指令驱动的人和物体之间的接触区域。APDM 相对于 HOI-DM 结果是独立的，并且可以纠正后者的潜在错误。此外，它可以随机生成接触点，以多样化生成的动作。最后，我们将估计的接触点合并到分类器引导中，实现准确和密切的人与物之间的接触。通过注释 BEHAVE 数据集的文本描述来训练和评估我们的方法。实验结果表明，我们的方法能够产生具有各种互动和不同类型物体的逼真的人 - 物互动。

Dec, 2023

这项研究针对动态人机交互进行了物理模拟，通过模仿人机动态交互示范来教授仿人机器人动态交互技能，采用了无需任务特定奖励设计的基于物理的全身交互示范方法，通过引入接触图来明确建模身体部位与物体之间的接触关系，并设计了接触图奖励，能够简单而有效地模仿各种人机交互任务。

Dec, 2023

本文提出了一种基于组合视角的方法来处理人物 - 物体交互动画问题：通过采用神经人体 - 物体变形来建模和渲染 HOI 动力学，然后设计了一种新的组成条件神经辐射场（或 CC-NeRF）来分解人和物体之间的相互作用，实现对新 HOI 的动画控制。

Apr, 2023

通过实例级隐式重建，我们提出了 Ins-HOI，一种端到端解决方案，用于恢复人与物体之间的详细交互。我们引入了实例级占据场来支持同时表示人 / 手和对象，并使用补充训练策略处理实例级基准缺失的问题。我们的方法 Ins-HOI 能够在极近交互的情况下生成合理和真实的非可见接触表面，并提供了一个大规模高保真度的 3D 扫描数据集用于研究。

Dec, 2023

通过使用预训练的大型模型和文本到动作模型，本文介绍了一种名为 InterDreamer 的框架，能够以零样本的方式生成与文本指令无缝对齐的逼真和连贯的 3D 人物 - 物体交互序列。

Mar, 2024

该论文提出了一种预测三维人物 - 物体交互（HOIs）的新方法。通过引入交互扩散和交互校正两个关键步骤，利用扩散模型编码未来人物 - 物体交互的分布，并引入物理感知预测器以纠正去噪后的 HOIs，该方法在多个数据集上的实验证明了其在生成逼真、生动且长期的三维 HOI 预测方面的有效性。

Aug, 2023

提出了一种利用场景图信息进行人 - 物交互（SG2HOI）检测的新方法，该方法通过全局背景信息和关系感知信息传递模块，利用图像中高级和语义的人物和物体关系，通过两种方式将场景图信息融入到 “人 - 物交互” 检测任务中，表现优于两个基准 HOI 数据集上的最新方法。

Aug, 2021

该研究探索了基于人体姿态、注视和距离等因素实现社交场景下人和物体之间相互作用识别的方法，并针对误分类问题提出硬负样本采样策略。在两个基准数据集，即 V-COCO 和 HICO-DET 上进行实验并验证了各个组件的有效性。

Aug, 2018

我们提出了一种用于捕捉人类和物体的三维运动的单目方案，结合通用动作推断和基于类别的运动扩散模型，在使用极少量的 RGB 相机和物体安装的惯性测量单元（IMU）的新颖环境中，通过综合处理 IMU 信号和 RGB 流重新恢复人体运动和物体运动，从而大幅度提炼初始结果并生成生动的身体、手部和物体运动。

Dec, 2023

该研究论文介绍了一项基于文本指导的生成 3D 手物交互序列的工作，并提出了两个子任务：手物接触生成和手物运动生成。通过使用变分自编码器和 Transformer 扩散模型，在文本提示下生成物理上合理的手物交互动作，并通过一种手优化模块改善了接触的时序稳定性和穿透问题。对比基准方法，该方法生成的交互更加真实和多样，并且适用于未知物体。

Mar, 2024