我们研究了通过文本指令生成逼真的三维人 - 物互动问题。我们采用模块化设计，将复杂任务分解为简单子任务。我们开发了双分支扩散模型（HOI-DM）来生成人和物体的动作，并通过人和物体动作生成分支之间的交叉注意力通信模块来促进一致的动作。我们还开发了互动预测扩散模型（APDM）来预测通过文本指令驱动的人和物体之间的接触区域。APDM 相对于 HOI-DM 结果是独立的，并且可以纠正后者的潜在错误。此外，它可以随机生成接触点，以多样化生成的动作。最后，我们将估计的接触点合并到分类器引导中，实现准确和密切的人与物之间的接触。通过注释 BEHAVE 数据集的文本描述来训练和评估我们的方法。实验结果表明，我们的方法能够产生具有各种互动和不同类型物体的逼真的人 - 物互动。

Dec, 2023

利用 HOIDiffusion 方法生成了逼真且多样化的三维手物体交互数据，并将其用于学习 6D 物体位姿估计，提高感知系统的效果。

Mar, 2024

在这项工作中，我们研究了使用人物 - 物体交互信息对文本到图像扩散模型进行条件控制的问题，并提出了一种可插拔的交互控制模型，通过交互嵌入来学习人物 - 物体交互信息，并通过条件自注意层更好地对现有的文本到图像扩散模型进行调节，从而在 HOI 检测得分、FID 和 KID 方面明显优于现有的基准模型。

Dec, 2023

本文提出了一种新的 HOI 检测方案 DiffHOI，通过预先训练的文本 - 图像扩散模型增强了检测器的性能，进一步减少了对交互预测的歧义，并通过 SynHOI 数据集有效缓解现有数据集中的长尾问题，促进了交互表示的学习。

May, 2023

我们提出了 CG-HOI，这是第一个解决从文本中生成动态 3D 人物 - 物体交互（HOIs）任务的方法。我们通过在训练和推断过程中显式地建模人体表面与物体几何之间的接触来引导人体和物体的运动，从而生成更真实、物理上可行的交互序列。

Nov, 2023

这项研究针对动态人机交互进行了物理模拟，通过模仿人机动态交互示范来教授仿人机器人动态交互技能，采用了无需任务特定奖励设计的基于物理的全身交互示范方法，通过引入接触图来明确建模身体部位与物体之间的接触关系，并设计了接触图奖励，能够简单而有效地模仿各种人机交互任务。

Dec, 2023

通过 DiffH2O 方法，从提供的文本提示和物体几何形状中合成真实的、单手或双手的物体交互，该方法通过手抓阶段和基于文本的交互阶段以及两种不同的引导方案实现了对生成动作的更多控制。

Mar, 2024

通过一种名为 GeneOH Diffusion 的创新方法，本研究旨在解决去噪手 - 物交互中的噪声问题，通过一个创新的接触中心表示法和新的领域通用去噪方案来改善交互序列的表达，实现更好的泛化性能和去除交互噪声。

Feb, 2024

该研究探索了基于人体姿态、注视和距离等因素实现社交场景下人和物体之间相互作用识别的方法，并针对误分类问题提出硬负样本采样策略。在两个基准数据集，即 V-COCO 和 HICO-DET 上进行实验并验证了各个组件的有效性。

Aug, 2018

本文提出了一种基于组合视角的方法来处理人物 - 物体交互动画问题：通过采用神经人体 - 物体变形来建模和渲染 HOI 动力学，然后设计了一种新的组成条件神经辐射场（或 CC-NeRF）来分解人和物体之间的相互作用，实现对新 HOI 的动画控制。

Apr, 2023