该研究提出了一个灵活的基于语言的框架，使用自然语言输入和场景图像处理机器人运动指令，通过预先训练的语言模型和变压器编码器网络生成目标几何特征，然后使用变压器解码器生成轨迹，无需任何先验知识。在复杂环境下，仿真和实际实验表明，该系统可以成功地跟随人类意图，修改轨迹的形状和速度。

Aug, 2022

利用 BABEL 动作文本集合，设计了一种基于 Transformer 的 TEACH 方法，能够根据自然语言描述生成符合语义的 3D 人体动作，实现由多个动作组成的时间动作构成。

Sep, 2022

使用时间轴控制的文本驱动动作合成方法，通过多个文本输入来指定时间轴内的多个动作以及精确定义各个动作的持续时间，并使用新的测试时间去噪方法生成真实的动作序列。

Jan, 2024

通过量化多种身体部位的运动为其各自领域定制的码本，利用预训练模型将多模态信号转换为共享的潜在空间，并通过逐步预测后续令牌形成完整序列来将这些信号转换成离散的运动令牌，最后从令牌序列中重构连续的实际运动。我们的研究方法将多模态动作生成挑战框架定义为令牌预测任务，利用基于控制信号模态的专门码本，具有可扩展性，能够轻松整合新的模态。广泛的实验证明了我们设计的有效性并强调了其广泛应用的潜力。

Nov, 2023

本文提出了一种基于时间卷积和 LSTM 的新型生成运动模型 (TC-LSTM)，并引入了特定的控制信号即舞蹈旋律线，以提高控制可控性，成功地实现了多种舞蹈类型的艺术舞蹈动作合成，性能优于现有方法。

Jun, 2020

模型 InterControl 利用大型语言模型规划器将人的交互描述转化为接触计划，通过基于接触计划的空间可控运动生成方法实现交互生成，进而实现对每个人的每个关节的灵活空间控制。

Nov, 2023

使用大型语言模型作为驱动，我们提出了一种新颖系统来从长文本中提取控制、无限长的运动轨迹和动作，并解决了从文本描述生成运动时的位置约束和不稳定性的问题，同时在轨迹跟随、时间动作组合和动作混合等子任务中的综合性能也超过了现有的合成方法。

Nov, 2023

通过利用多语言多模态学习模型（MLLMs）的无动作数据，我们首次探索了基于自然语言指令的开放式人类动作合成，实现了通用的人类动作合成，为未来的研究铺平了道路。

Jun, 2024

本文旨在解决人体运动合成方面存在的挑战，提出了一种两阶段活动生成方法，通过学习合成稀疏的运动轨迹和生成密集的运动轨迹来实现长期人体运动轨迹的合成，并通过多种量化评估指标证明该方法优于 SOTA 方法。

Dec, 2020

本文提出了一种基于自然语言的灵活性极高的人机协作接口，将大型语言模型 (BERT 和 CLIP) 的优势与轨迹信息相结合，通过多模态注意力变换实现对用户命令的编码，并将其与轨迹信息相结合。在包含机器人轨迹的数据集上进行模仿学习，并将轨迹生成过程视为序列预测问题，通过仿真轨迹实验和真实机器人实验验证了该系统的效果优异，并证明了自然语言接口在人机协作中的优越性。

Mar, 2022