Jan, 2023

自监督多任务预训练：控制变压器

PDF
TL;DR本文提出一种通用的预训练 - 微调流水线 ——Self-supervised Multi-task pretrAining with contRol Transformer（SMART），通过设计一种控制中心的自监督微调目标，结合控制变压器（CT）实现了对短期控制和长期控制相关的信息的捕捉，在 DeepMind 控制套件上的广泛实验表明 SMART 极大地提高了在不同的学习场景下（包括模仿学习和强化学习）的学习效率和泛化能力。
self-supervised pretrainingcontrol transformersequential decision makingdeep reinforcement learninglearning efficiency
发现论文，激发创造
  • 理解预训练变压器在序贯决策中的训练和泛化

    本文考虑了一类顺序决策问题的受监督预训练变压器模型，并且提出了一种解决预训练变压器训练及泛化问题的自然方法，该方法通过在训练过程中包含变压器生成的动作序列来提供更好的性能。同时，文章还分析了预训练变压器作为一种算法的特性，解释了其缺乏探索性和如何自动解决此问题，并在数值上将其与结构化算法相比较。

    May, 2024

  • 决策基础模型的自监督预训练：构建、流程和挑战

    决策是一个动态过程，需要感知、记忆和推理来做出选择和找到最佳策略。此研究论文主要介绍了将大规模自监督预训练所获得的知识整合到决策过程中的方法和挑战。

    Dec, 2023

  • 多模态预训练模型用于顺序决策：综合、验证、基础和感知

    利用预训练模型和视觉观察的知识，发展一种算法来构建和验证用于顺序决策任务的控制器，并将这些控制器与任务环境进行关联。

    Aug, 2023

  • SiT：自监督视觉 Transformer

    本文提出了一种名为 Self-supervised vIsion Transformers (SiT) 的模型，使用多种自监督训练机制进行预训练，通过线性分类器对其学习特征进行评估，并在小规模数据集上进行下游分类任务，结果表明这种模型在自我监督学习上有很好的效果。

    Apr, 2021

  • 控制变压器：基于 PRM 引导的返回条件序列建模的机器人在未知环境中导航

    本文提出控制变压器 (Control Transformer) 结合基于采样的概率路图规划器 (Probabilistic Roadmap Planner) 的低层策略，应用于机器人领域的长周期任务，结果表明我们的框架可以仅利用局部信息解决长周期导航任务，实现了零 - shot 的模拟现实转移 (transfer)，并在 Ant、Point、Humanoid 和 Turtlebot3 机器人上验证了该方法。

    Nov, 2022

  • 神经网络顺序转移自监督预训练调查

    本论文综述了自监督预训练技术及其在序列迁移学习框架中的应用，包括自监督学习和迁移学习的分类体系、设计跨不同领域的预训练任务的突出方法以及近期趋势和未来研究方向。

    Jul, 2020

  • CtrlFormer: 基于 Transformer 学习可转移的状态表示，用于视觉控制

    提出了一种称为 CtrlFormer 的控制变压器模型，用于训练在样本利用效率方面表现良好的可转移状态表示，在视觉控制任务方面表现出色，并在 DMControl 基准测试中达到了当前先进方法的最高样本利用效率水平。

    Jun, 2022

  • 多智能体决策的屏蔽预训练

    提出了一种基于 Transformer 架构的 MaskMA 预训练框架，通过分布式执行和部分观察的方式，同时解决了多智能体决策中分布式预训练和执行不匹配以及智能体数量和行动空间多样性的问题，实验结果显示 MaskMA 在多个任务上都表现出色，包括 77.8％的零 - shot 胜率和有效的策略协作和临时团队游戏能力。

    Oct, 2023

  • RePre：利用重构预训练提高自监督视觉 Transformer 的性能

    本文提出了一种基于重构预训练技术 (RePre) 的自监督视觉变压器模型，使用本地特征学习来替代对图像的全局理解，其中重构预训练通过向现有对比性目标添加像素重构分支，使用变压器编码器的多层次特征进行处理，并提供了从低到高语义信息的丰富监督信息；在各种对比学习框架和不同的视觉变换器架构上，该方法带来的转移性能超过了受监督的预训练和最先进的自监督方法。

    Jan, 2022

  • 迈向具备预训练的持续学习通用框架

    通过使用预训练的方法，我们提出了一个通用的框架来持续学习连续到达的任务，从一个理论的角度，我们将其目标分解为三个层次的组成部分，包括任务内预测、任务标识推断和任务适应预测，并提出了一种创新的方法来显式优化这些组件，通过参数高效的微调技术和表示统计量，我们在下游连续学习中实证展示了我们方法的优越性和普遍性，并进一步探讨了在上游连续学习中应用参数高效的微调技术的可行性，同时结合神经科学中的最新进展，讨论了所提框架的生物学基础。

    Oct, 2023