Dec, 2023
超越PID控制器：Mu2e中用神经化PID策略的PPO质子束强度控制
Beyond PID Controllers: PPO with Neuralized PID Policy for Proton Beam
Intensity Control in Mu2e
TL;DR我们引入了一种创新的近端策略优化（PPO）算法，旨在解决费米国家加速器实验室（Fermilab）的Muon to Electron Conversion Experiment（Mu2e）中保持均匀质子束强度传递的挑战。我们的主要目标是调节流出过程以确保一致的强度分布，最终目标是创建一个能够提供实时反馈和校准Spill Regulation System（SRS）参数的自动控制器，达到毫秒级的时间尺度。我们将Mu2e加速器系统视为适合强化学习（RL）的马尔可夫决策过程，利用PPO来减少偏差并增强训练稳定性。我们方法的一个关键创新是将神经化的比例积分微分（PID）控制器整合到策略函数中，导致Spill Duty Factor（SDF）明显提高了13.6%，超过了当前PID控制器基准的额外1.6％。本文介绍了基于Mu2e加速器的可微模拟器的初步离线结果，为实时实现和应用奠定了基础，是朝着Mu2e实验的自动质子束强度控制迈出的关键一步。