本文提出了一种用于 3D 动作识别的 Masked Motion Prediction（MAMP）框架，通过对蒙面的空间 - 时间骨骼序列进行预测，实现对丰富语义区域的更好关注，进而提高自监督预训练的性能。经过对 NTU-60、NTU-120 和 PKU-MMD 数据集的广泛实验，表明所提出的 MAMP 预训练方法显著提高了基础的 transformer 模型的性能，并取得了最先进的结果。MAMP 的源代码可以在给定的网址上找到。

Aug, 2023

本文提出了一种基于去噪扩散的新框架，通过训练一个运动扩散模型来生成运动，然后通过去噪过程实现在观察到的运动条件下进行运动预测，并在现实任务中有效地实现了不同类别运动的切换，取得了良好的算法性能和结果。

Feb, 2023

本文在自动驾驶领域中引入了 GPT 风格的下一个标记预测技术以实现运动预测的自回归，结合三个分解注意模块和不同的位置编码方式来捕捉驾驶场景中的复杂空间 - 时间和语义关系，实验结果显示该方法在 Waymo Open Motion 和 Waymo Interaction 数据集中取得了最先进的性能。

Mar, 2024

本文提出一种使用自学生成流技术的框架，自动学习行驶中的自由运动的物体，以替代在自主驾驶系统中昂贵的人工标注，实现更广泛、准确、自主的交通参与者识别和动作预测。

Oct, 2022

本文介绍了遮盖轨迹模型 (MTM) 作为顺序决策制定的一般抽象。MTM 采取轨迹，如状态动作序列，并旨在在相同轨迹的随机子集的条件下重建轨迹。通过高度随机化的遮盖模式进行训练，MTM 学习多功能网络，可以通过在推理时选择适当的遮罩来扮演不同的角色或具有不同的能力。通过在几个连续控制任务中进行广泛的实验，我们展示了相同的 MTM 网络可以匹配或优于专门针对前述能力进行训练的网络。此外，我们发现 MTM 学到的状态表示可以显着加速传统 RL 算法的学习速度。最后，在离线 RL 基准测试中，我们发现 MTM 尽管是一种通用的自监督学习方法，并且没有任何明确的 RL 组件，但它与专门的离线 RL 算法相竞争。

May, 2023

通过引入 Forecast-MAE，一种专为自我监督学习运动预测任务设计的掩模自编码器框架的扩展，利用标准 Transformer 块以及最小的内在偏差，我们在具有挑战性的 Argoverse 2 运动预测基准测试上进行的实验表明，Forecast-MAE 取得了与依赖于监督学习和复杂设计的最先进方法竞争性的性能，并且明显优于以前的自我监督学习方法。

Aug, 2023

通过使用遮蔽模型进行预训练，提出了适用于 RL 的遮蔽模型预训练方法 RePreM，避免了算法复杂性和数据增强的问题，并通过各种任务的实验证明了其有效性。

Mar, 2023

本文提出了通过微调模型来引导自监督方法学习特定任务的方法，并提出了 MPPT 的变体，可以用于低存储占用的流式模型。这些方法在 Librispeech 语料库上进行的自动语音识别实验中取得了显著的性能提高。

Nov, 2022

使用随机正交投影而非二元屏蔽的图像建模框架 Random Orthogonal Projection Image Modeling（ROPIM）能够实现在局部变化的屏蔽程度下屏蔽整个空间图像区域，并展现了与基于裁剪屏蔽的方法相比具有更优越的性能。

Oct, 2023

本文研究了利用自监督学习方法从真实世界的机器人任务中的多样化视频图像中进行视觉预训练，在多种机器人任务和实体上表现出了较高效果，并通过在 4.5M 张来自互联网和自怎样视角视频的大规模数据上进行的预训练，展示了对于机器人学习的视觉预培训的规模化提升的好处。

Oct, 2022