利用 HOIDiffusion 方法生成了逼真且多样化的三维手物体交互数据，并将其用于学习 6D 物体位姿估计，提高感知系统的效果。

Mar, 2024

我们研究了通过文本指令生成逼真的三维人 - 物互动问题。我们采用模块化设计，将复杂任务分解为简单子任务。我们开发了双分支扩散模型（HOI-DM）来生成人和物体的动作，并通过人和物体动作生成分支之间的交叉注意力通信模块来促进一致的动作。我们还开发了互动预测扩散模型（APDM）来预测通过文本指令驱动的人和物体之间的接触区域。APDM 相对于 HOI-DM 结果是独立的，并且可以纠正后者的潜在错误。此外，它可以随机生成接触点，以多样化生成的动作。最后，我们将估计的接触点合并到分类器引导中，实现准确和密切的人与物之间的接触。通过注释 BEHAVE 数据集的文本描述来训练和评估我们的方法。实验结果表明，我们的方法能够产生具有各种互动和不同类型物体的逼真的人 - 物互动。

Dec, 2023

该研究论文介绍了一项基于文本指导的生成 3D 手物交互序列的工作，并提出了两个子任务：手物接触生成和手物运动生成。通过使用变分自编码器和 Transformer 扩散模型，在文本提示下生成物理上合理的手物交互动作，并通过一种手优化模块改善了接触的时序稳定性和穿透问题。对比基准方法，该方法生成的交互更加真实和多样，并且适用于未知物体。

Mar, 2024

通过以文本提示为条件的扩散模型，在人体特征如手部、牙齿等方面生成逼真的图像存在困难。我们假设通过用质量良好的标注数据克服扩散模型的这种缺陷。本文通过使用扩散模型改进手物互动图像生成，采集了一个经过精心注释的手物互动合成数据集，并在其上微调一个稳定的扩散模型。我们通过定性和定量指标（如 CLIPScore、ImageReward、Fedility 和对齐度）评估了图像 - 文本数据集，表现出明显优于当前最先进基准的性能。

Dec, 2023

该论文提出了一种预测三维人物 - 物体交互（HOIs）的新方法。通过引入交互扩散和交互校正两个关键步骤，利用扩散模型编码未来人物 - 物体交互的分布，并引入物理感知预测器以纠正去噪后的 HOIs，该方法在多个数据集上的实验证明了其在生成逼真、生动且长期的三维 HOI 预测方面的有效性。

Aug, 2023

提出了一个新的数据集 HandDiffuse12.5M，它是一个包含强烈的双手互动时间序列的数据集，用于可控的互动手势生成；通过扩散模型和设计不同控制器的两种运动表示方法，进一步提出了强基准方法 HandDiffuse；实验证明，该方法在运动生成方面优于现有技术，同时可用于其他数据集的数据增强。

Dec, 2023

以对象抓取部分的文本提示为引导，提出了一种文本引导的抓取合成方法，该方法包括一个文本引导的扩散模型 TextGraspDiff 和一个手 - 物体接触优化过程，以确保合理性和多样性，实验结果验证了该方法在精确的部位级别抓取控制和抓取质量方面的可比性。

Apr, 2024

我们介绍了第一个注视引导的手 - 物体交互数据集，并提出了一个新颖的注视引导的手 - 物体交互综合任务。我们的数据集 GazeHOI 通过同时建模注视、手和物体的交互，包含 479 个序列，平均持续时间为 19.1 秒，812 个子序列和 33 个具有不同大小的物体。我们提出了一个基于注视引导的手 - 物体交互扩散模型 GHO-Diffusion 的分层框架。我们的广泛实验突出了数据集的独特性及我们方法的有效性。

Mar, 2024

该研究提出了一个用于视角内交互识别的综合框架，利用无标记的三维手部操作物体注释，并提出一种用于创建统一数据集的方法，该数据集支持对双手和物体操作姿态的预测，并展现出在该领域的一系列前所未有的细节实现。

Apr, 2021

研究了利用强化学习和物理模拟方法实现动态抓取合成任务，将该任务分解为底层抓取和高层运动合成，并生成逼真的人类手部运动序列

Dec, 2021