该论文提出了一种自监督的感知动作预训练方法，称为 RPT，使用转换器操作传感动作令牌的序列，能够处理 latent 视觉表示，能够扩展到 10 倍大型模型，并可在真正的机器人上实现 10 Hz 的推断。

Jun, 2023

EarthPT 是一个地球观测预训练的变压器模型，通过自回归自监督方式训练了一个 7 亿参数、针对地球观测应用场景的模型。我们展示了 EarthPT 是一个有效的预测器，可以准确预测未来的像素级表面反射率在 400-2300nm 范围内变化。此外，通过 EarthPT 学习的嵌入具有语义上有意义的信息，可用于下游任务，如高精度、动态的土地利用分类。

Sep, 2023

本文介绍了一种新的雷达回波外推算法，该算法利用时空相关特征和 Transformer 技术，通过从多帧雷达图像中提取特征来准确表示降水的非定常运动过程，增强对全局 - 局部信息的感知能力并以轻量级方式突出与任务相关的特征区域，并在真实世界数据集上验证了其有效性和必要性

Apr, 2023

当前方法在从单目视频中估计 3D 人体动作方面取得了有希望的进展，本文提出了一种考虑物理学规律的预训练变压器（PhysPT），改进了基于运动学的动作估计并推断了运动力。实验证明，经过训练后的 PhysPT 能够直接应用于运动学估计，显著增强其物理上的可信度并产生有利的运动力，这些有意义的物理量进一步提高了重要下游任务 —— 人体动作识别的准确性。

Apr, 2024

本研究提出了 PACT（Perception-Action Causal Transformer）范式，通过自监督方法直接利用机器人数据来构建机器人的自身表示，并在移动机器人领域进行了实证研究。研究结果表明，通过共享一个好的自身表示，我们可以降低整个模型的容量并加速实时部署这些系统。

Sep, 2022

本文通过使用预训练的转换器模型提出了一种面部图像的分类方法，包括包括二进制分类、使用加密图像进行分类等，并探讨了此方法对于隐私保护机器学习的启示。

Jan, 2022

自主导航与水下环境中的挑战，主要包括光吸收和水浑浊度等因素，传统视觉算法对声纳生成的声学图像的应用效果较差，而卷积神经网络通常需要大量的标记训练数据，这些数据通常难以获取。因此，我们提出了一种新型的紧凑型深度声纳描述符管道，它能够在仅仅用于合成数据的情况下推广到真实场景，并通过标准的临时规范化 / 预滤波技术提升输入声纳数据的质量。同时，我们还介绍了自定义的合成数据生成过程。通过对合成和公开可用的真实数据的广泛评估，证明了我们提出的方法相较于最先进的方法更加有效。

Aug, 2023

该论文提出了具有发音感知嵌入的转录器（PET）。通过在文本令牌中具有相同或相似发音的标记中引入共享组件，PET 模型的解码器嵌入不同于传统转录器，其解码器嵌入根据共同的发音特征进行训练。我们在中文和韩文的多个数据集上进行的实验证明，与传统转录器相比，PET 模型始终提高了语音识别的准确性。我们的研究还揭示了一个错误链反应的现象。与将识别错误均匀分布在一个说话过程中不同，识别错误往往会聚集在一起，后续错误经常跟随先前错误的发生。我们的分析表明，PET 模型通过显著降低在先前错误后生成额外错误的可能性有效减轻了这个问题。我们的实现将与 NeMo 工具包一起开源。

Apr, 2024

通过提出自适应点云变换器（AdaPT）模型，文章解决了点云变换器（PT）在处理大规模点云时的可扩展性挑战，实现了较低的计算复杂度和竞争性的分类准确率。

Jan, 2024

通过使用深度预测策略训练框架，该研究提出了一种有效的方法来训练预测动作策略，使用合成和模拟训练样本来强制进行视觉和运动数据的抽象，以及使用策略搜索强化学习方法来训练每个任务的策略超层，该框架在 PR2 机器人上训练物体抓取和投球等技能任务，并且训练样本只使用了约 180 次实际机器人尝试，达到了很好的效果。

Mar, 2017