Jun, 2024
优化深度强化学习用于自适应机械臂控制
Optimizing Deep Reinforcement Learning for Adaptive Robotic Arm Control
Jonaid Shianifar, Michael Schukat, Karl Mason
TL;DR本文探讨了使用树状 Parzen 估计器（TPE）对七自由度（DOF）机器人臂控制中的 Soft Actor-Critic（SAC）和 Proximal Policy Optimization（PPO）算法进行超参数优化的方法，在 50K 周期的训练中，实验结果显示 TPE 显著提高了算法的性能，提升了 SAC 的成功率 10.48 个百分点，提高了 PPO 的成功率 34.28 个百分点；此外，TPE 使得 PPO 在较短时间内能以最大奖励的 95% 收敛，比无 TPE 情况下快 76%，相当于节省了大约 40K 个周期的训练时间以达到最佳性能；对于 SAC 来说，优化的速度比无 TPE 的情况快 80%；本研究强调了先进的超参数优化对于复杂机器人任务中深度强化学习算法效率和成功率的影响。