Jun, 2024

强化学习控制器对网络物理系统中的偏差容忍性

HTML
PDF
TL;DR在该研究论文中，介绍了一种新的容错概念，旨在描述控制器在系统中可能出现的偏差下满足特定系统要求的能力。基于该定义，提出了一种新颖的分析问题——容错验证问题，其中包括寻找导致给定要求违反的小偏差。通过构建一系列基准问题来评估该方法，在系统中可以配置系统参数以表示不同类型的不确定性和干扰，实验表明，我们的验证方法和启发式算法能够有效地找到小偏差。
发现论文，激发创造
  • 不确定性下的安全控制

    本文提出了一种新的逻辑PrSTL作为表达随机性质和强制其概率保证的表现语言，并展示了如何使用这种逻辑对具有随机性质的智能物理系统进行控制器合成，其关键特点是适应性逻辑并随着系统遇到附加数据而变化，并通过合成多种情况下无人机和自主车辆的控制器来演示我们的方法。

    Oct, 2015

  • 使用深度强化学习技术伪造网络物理系统

    本文介绍了采用DRL技术来缩短模拟验证在CPS中缺陷检测和 falsification 过程中所需的时间的方法，并给出了初步的评估结果。

    May, 2018

  • 基于反证法的强化学习鲁棒性敌对攻击

    本文提出了基于 Falsification 的 Robust Adversarial Reinforcement Learning (FRARL) 框架，将时序逻辑 Falsification 整合到 Adversarial Learning 中以提高策略的鲁棒性，实验结果表明，采用该框架训练的智能体比其他方法更具有通用性和遵守安全规则的能力。

    Jul, 2020

  • 可行的演员-评论家算法：基于约束强化学习实现状态安全性保障

    本文提出了可行行动者-评论家(FAC)算法，是第一个考虑到每个初始状态的状态安全性的无模型约束RL方法，通过构造基于RL采样的状态Lagrange函数并采用附加神经网络逼近状态Lagrange乘数，我们可以获得确保每个可行状态安全的最佳可行策略和最安全的不可行状态策略。

    May, 2021

  • 使用强化学习的基于STL的反馈控制器综合

    研究利用时序逻辑生成奖励对深度强化学习进行实时控制，并在多项复杂连续控制基准测试中证实了新模型相较于现有模型更为合适。

    Dec, 2022

  • 深度强化学习用于网络物理系统中的在线错误检测

    提出一种基于深度强化学习的错误检测方法，不仅可以高精度检测错误，而且检测时间非常短，并可以对不同类型的错误进行分类，评估结果表明该方法在准确性和推理时间方面的性能得到了显著提高。

    Feb, 2023

  • 基于状态的安全强化学习：一项调查

    本文综述了在强化学习中解决状态限制问题的现存方法并比较了它们在安全性、可伸缩性、奖励表现等方面的差异和权衡，同时总结了当前方法的局限性并探讨了未来的研究方向。

    Feb, 2023

  • 具有未知时间约束的安全强化学习策略联合学习

    提出了一种结合逻辑约束强化学习算法和进化算法的框架，用于在不确定或未明确定义安全约束的环境中并发地学习安全约束和最优RL策略，并且该框架以理论保证为支撑，成功地在grid-world环境中识别出可接受的安全约束和RL策略，以及证明了我们的方法的实践效果。

    Apr, 2023

  • 基于采样规范的智能能源系统学习控制的保护

    探讨强化学习在控制能源系统中的挑战，其中除了性能要求外，还有额外的安全要求，如避免停电。我们详细介绍了如何通过离散化成线性时间逻辑（LTL）来加强实时时间逻辑中的这些安全要求，以使满足LTL公式意味着满足原始的安全要求。离散化使得先进的工程方法成为可能，如为安全强化学习合成防护屏障以及形式验证，其中对于统计模型检查，由LTL模型检查获得的概率保证形成原始实时安全需求满足的下限。

    Aug, 2023

  • 基于采样的安全强化学习在非线性动力系统中的应用

    我们开发了一种可证明安全和收敛的非线性动态系统控制的强化学习算法，填补了控制理论的强安全性保证和强化学习理论的收敛保证之间的差距。我们的方法通过单阶段的基于采样的方式，在学习过程和实际应用中满足硬约束条件，同时享有经典的收敛保证，我们在仿真环境中验证了我们方法的有效性，包括一个具有挑战性障碍避免问题的四旋翼无人机的安全控制，并证明其胜过现有的基准模型。

    Mar, 2024