本文探讨如何实现基于文本描述的运动检索任务，利用姿态估计、文本编码和基于分割空时注意力的 Motion Transformer 模型，对大量 3D 骨骼序列进行内容检索，实现了相应的定量度量评估。

May, 2023

通过使用 Taylor 视频格式和运动提取函数，我们能够高效地从视频中提取动作，并得到具有竞争力的动作识别准确性。

Feb, 2024

本文提出了一种多模态视频分割方法，通过语言引导的特征融合模块和多模态对齐损失函数，将视觉外观、运动信息和语言特征融合，实现了精准的文本视频分割。在 A2D Sentences 和 J-HMDB Sentences 数据集上的实验表明，该方法与现有方法相比具有更好的性能和泛化能力。

Apr, 2022

本文提出了一种无监督方法来发现高度关节化对象（如野生老虎）的行为特征运动模式，从而实现行为视频的切分和聚类。通过分析大量顺序轨迹对的相对位移，本文发现了一种连续的运动模式，并使用运动轨迹对描述符进行聚类分析，表明该方法比现有的行为轨迹描述符表现更为优越，可将不受约束的动物视频分割成包含单个行为的时间段。

Nov, 2014

通过引入具有普遍适用性的新颖语言学先验，SGNify 可以从现场 SL 视频中全自动捕获手势、面部表情和身体动作，从而在学习 SL 时取代视频字典的 3D avatar 可以提高对技术和在线媒体的获取能力和 AR/VR 应用，并在 SL 视频上优于现有 3D 身体姿势和形状估计方法。

Apr, 2023

提出了一种名为 KeyMotion 的方法，通过生成关键帧并进行填充，实现根据输入文本生成逼真的人体运动序列。通过使用具有 Kullback-Leibler 正则化的变分自编码器（VAE）将关键帧投影到潜空间，来减少维度和加速扩散过程。同时，引入了一种新的并行跳过注意力机制的 Transformer，用于实现关键帧潜向量和文本条件之间的跨模态注意力。通过引入文本引导的 Transformer 进行动作填充，确保运动序列的保真度和遵循人体运动的物理约束。实验证明，该方法在 HumanML3D 数据集上达到了最先进的结果，所有 R-Precision 度量和多模态距离指标均优于其他方法。同时，在 KIT 数据集上也获得了有竞争力的性能，在 Top3 R-Precision、FID 和多样性度量指标上取得了最佳结果。

May, 2024

该论文提出了 TMR 方法，利用对比损失结构化跨模态潜在空间，提高文本到 3D 人体运动检索的性能，并在多个数据集上验证了其优越性能，同时也展示了其在时刻检索方面的潜力。

May, 2023

本文提出了一种基于 transformer 和 triplet loss 的 cross-modal retrieval 模型来解决 human motion sequences 和 text 之间的检索问题，并提出了一种新的 MildTriple Loss 来减少 semantic conflicts 的影响，经实验证明，在 HumanML3D 和 KIT Motion-Language 数据集上具有较高的检索召回率。

May, 2023

我们开发了一个新的数据集 AUTSL-SkelCap，该数据集以土耳其独立手语 (AUTSL) 为基础，通过对骨骼关键点序列的文字描述来生成。我们还开发了一个基线模型 SkelCap，用于生成身体动作的文字描述。通过对模型进行广泛的评价，包括对签名者无关和手势无关的评估，我们获得了令人满意的结果，签名者无关评估中的 ROUGE-L 得分为 0.98，BLEU-4 得分为 0.94。我们准备好的数据集 AUTSL-SkelCap 将很快公开发布。

May, 2024

运用运动学理论和 Sigma-Lognormal 模型 2D 时空轨迹的方法，我们提出了一种 Kinematic Theory Transform 模型，并使用欧拉曲线和多种函数来重构人、动物和机器人的时空轨迹。

Jan, 2024