Jul, 2023

从零开始发现适应性符号算法

PDF
TL;DR提出了一种基于 AutoML-Zero 的方法 AutoRobotics-Zero（ARZ），该方法能够从零开始发现可以适应环境变化的策略。该方法采用线性寄存器机制来构建具有完整表达能力的控制算法，并在适应突发环境变化时即时调整模型参数和推理算法。在仿真的四足机器人上进行了实验，成功演化出了安全的控制策略，以避免在单个肢体意外折断时造成跌倒。与两种流行的神经网络基准相比，ARZ 方法表现出更大的鲁棒性，并能够构建简单且可解释的控制策略。
发现论文，激发创造
  • 零样本自适应四轴飞行器控制器

    本论文提出了一种适用于四轴飞行器的通用自适应控制器，基于神经网络，通过在仿真环境中训练实现快速适应各种扰动和硬件变化。

    Sep, 2022

  • 零样本 Sim2Real 环境自适应

    提出了使用 Reverse Action Transformation（RAT）策略的方法来解决模拟到现实世界之间的转换问题，并且和其他基线模型相比，在连续控制任务中可实现零样本适应。

    Feb, 2023

  • 无梯度策略架构搜索与自适应

    通过梯度自由优化实现政策体系结构搜索和适应，可以学习执行自主驾驶任务。通过从演示和环境奖励中学习，开发了一个模型，可以学习相对较少的早期灾难性失败，并学习适当复杂度的体系结构，调整源领域中演示的政策以适应目标环境中获得的奖励，在逼真的模拟环境中学习驾驶，以提供比基线方法更安全的学习，降低累计崩溃指标。

    Oct, 2017

  • 使用机械手解决魔方

    本文阐述了通过自动域随机化（ADR）算法和机器学习机器人平台的组合，可以使仅在模拟中训练的模型用于解决一个真实机器人的无前例复杂操纵问题，ADR 使得策略控制和视觉状态估计器的 sim2real 迁移显著改善，ADR 与客制化机器学习机器人平台的组合，使其可以使用一个人形机器人手来解决魔方方块的控制和状态估计问题。

    Oct, 2019

  • 等变 MuZero

    本文提出一种改进 MuZero 强化学习算法的方法，通过将环境的对称性显式地纳入其世界模型架构，既提高了数据效率，又提高了泛化能力，并在 MiniPacman 和 Chaser 上进行测试。

    Feb, 2023

  • PI-ARS：用预测信息表现加速演化学得的视觉 - 运动

    本研究中，我们开发了 “预测信息增强随机搜索”（PI-ARS）方法，它结合了基于梯度的表示学习技术（PI）和基于梯度的无模型演化策略算法 (ARS)，以训练能够处理复杂机器人感知输入和处理高度非线性机器人动态的策略。该方法在足够复杂且难以处理的视觉驱动机器人任务中得到验证，相比于 ARS 的基线算法，在学习效率和性能方面均有显著提升，实际应用中 100％的成功率大幅提高了之前 40％的效果。

    Jul, 2022

  • ADAPT: 随机动态系统的零 - shot 自适应策略转移

    本文介绍了一种名为 Adaptive Policy Transfer for Stochastic Dynamics（ADAPT）的算法，它可以实现零 - shot 安全、鲁棒、动态可行的 RL 策略转移至具有动态误差的新领域。ADAPT 共振离线政策学习的优点，通过在线管基于模型预测控制来减弱源和目标动态之间的有界模型不匹配。我们在 2 个连续的非完整模拟动态系统上评估了 ADAPT，在 4 种不同的扰动模型中发现，ADAPT 的平均奖励累积比直接策略传递高 50%-300%。

    Jul, 2017

  • Alpha Zero 物理：使用 Alpha Zero 进行符号回归以找到物理学中的分析方法

    使用符号回归及 Alpha Zero 算法的物理分析方法研究框架，展示了其在 Floquet 系统中获得高频扩展的潜力，可能发展出物理学的新理论框架。

    Nov, 2023

  • ROSO: 通过合成观测改进机器人政策推断

    我们提出使用生成人工智能（AI）来改变推理过程中的观察，以提高预训练策略的零样本性能，并通过稳定的扩散来预处理机器人对新对象的观察，从而在未经漫长微调的情况下提高机器人的适应能力。

    Nov, 2023

  • 机器学习与定量规划的结合：使自主机器人实现自适应

    本文探讨了一种使用机器学习找到最优配置并将搜索空间限制在这些配置中的方法，以应对系统运行期间不一致性的挑战，并在机器人任务中进行了实验。

    Mar, 2019