基于表现性潜变空间的无监督人机动作转接
早期研究旨在通过将人类动作领域中的关节位置序列转化为给定机器人能够实现且受其体现约束的动作领域，从而改进在线人机模仿技术。通过提出一个编码器 - 解码器神经网络模型进行领域转换，利用深度学习方法的泛化能力来解决这个问题。为了训练这样的模型，可以使用与机器人和人类动作相关联的配对数据，然而这样的数据在实践中非常稀少且收集费时。因此，我们转向了无配对领域转换的深度学习方法，并将其改进以实现人机模仿。
Jan, 2024
本文的研究重点是在具有不同形态的机器人操纵器之间传递控制策略。通过将源机器人和目标机器人的状态和动作空间投影到一个共同的潜在空间来实现跨机器人的策略转移。我们使用编码器、解码器和潜在空间控制策略同时进行训练，利用任务表现、潜在动力学一致性和编码器 - 解码器能力来重构原始状态和动作。为了转移学得的控制策略，我们只需要训练目标编码器和解码器来将新的目标领域对齐到潜在空间。我们使用生成对抗训练，通过循环一致性和潜在动力学损失，在目标领域中无需访问任务奖励或奖励调整，展示了模拟环境到真实环境以及不同状态、动作和形态的机器人之间的策略转移。
Jun, 2024
人体动作风格化的生成模型基于预训练自动编码器的潜在空间进行动作提取和融合，实现了多样化的风格化结果，具有轻量级设计却在风格再现、内容保留和广泛应用方面优于现有技术的特点。
Jan, 2024
本文介绍一个从人与人互动学习到人机互动的方法，通过使用隐马尔可夫模型作为潜在空间先验，并结合变分自编码器来建模互动代理之间的联合分布。利用从人与人互动中学习到的互动动力学来学习人机互动，并将人类观测结果作为训练基础，从而预测更准确的机器人轨迹。进一步通过逆运动学调整生成的机器人动作，以确保与人之间的期望物理接近性，结合了关节空间学习的便利性和准确的任务空间可达性。在富含接触的互动中，我们利用 HMM 分割来调节机器人的刚度以实现柔顺的互动。通过用户评测，我们验证了所提方法在一个人形机器人上的有效性。尽管仅通过两个人的数据进行训练，我们的方法在不同人类之间表现出很好的泛化性能。实验结果表明，用户认为我们的方法更具人性化、及时性和准确性，并且较其他基准方法更具优势。
Nov, 2023
本文提出了一种新的方法，通过使用神经网络从视频中提取人体运动的高级潜在表示的方法，实现了不需要显式重建三维姿态和 / 或相机参数的不同人类表演者之间的视频捕获运动的再定向。
May, 2019
该研究提出了一种使用深度循环神经网络和序列到序列学习学习人体全身运动和自然语言之间双向映射的生成模型，该模型不需要分割或手动特征工程，并学习分布式表示，其结构可以生成逼真的动作或描述.
May, 2017
本研究提出了一种新方法，通过从社交动作潜空间中学习生成机器人控制来实现社交机器人导航。该方法在社交导航度量指标（如成功率、导航时间和轨迹长度）方面取得了显著改进，同时产生更平滑（较小加速度和角度偏差）和更具预测性的轨迹。通过与基准模型在不同场景下的比较，验证了该方法的优越性。此外，引入了人类对机器人的认知概念到社交机器人导航框架中，表明融入人类的意识可以导致更短、更平滑的轨迹，因为人类能够与机器人积极互动。
Oct, 2023
该研究提出了一个灵活的基于语言的框架，使用自然语言输入和场景图像处理机器人运动指令，通过预先训练的语言模型和变压器编码器网络生成目标几何特征，然后使用变压器解码器生成轨迹，无需任何先验知识。在复杂环境下，仿真和实际实验表明，该系统可以成功地跟随人类意图，修改轨迹的形状和速度。
Aug, 2022
通过对相对空间的角度保持相对表示的可逆性进行形式化，并假设神经模型中解码器模块的尺度不变性，我们将两种方法结合起来，通过相对空间获得潜在空间转换的新方法。通过在各种架构和数据集上进行大量实验证实了我们的尺度不变性假设，并证明了我们方法在潜在空间转换中的高准确性。我们还将我们的方法应用于任意预训练文本和图像编码器及其分类器之间的零射缝，甚至跨模态。通过组合性，我们的方法具有促进模型实际重用的显著潜力。
Jun, 2024