增强型强化学习故障识别（FIERL）

May, 2024

增强型强化学习故障识别（FIERL）

Fault Identification Enhancement with Reinforcement Learning (FIERL)

Valentina Zaccaria, Davide Sartor, Simone Del Favero, Gian Antonio Susto

TL;DR这篇论文提出了一种新颖的主动故障检测（AFD）方法，通过明确将任务分为两个部分：被动故障检测（PFD）和控制输入设计。该方法具有很强的普适性，大部分已有的 AFD 文献都可以从该角度来解读。通过认识到这种分离，PFD 方法可以提供高效利用可用信息的组件，而控制输入的设计则是为了优化信息收集。本文的核心贡献是 FIERL，这是一种通用的基于模拟的方法，用于设计这种控制策略，使用约束强化学习（CRL）来优化任意被动探测器的性能。控制策略是在不需要了解被动探测器内部工作原理的情况下学习的，使得 FIERL 具有广泛的适用性。然而，当与高效被动组件的设计相结合时，其特别有用。与大多数 AFD 方法不同，FIERL 可以处理连续的故障模式等相当复杂的场景。FIERL 的有效性在执行器故障诊断的基准问题上进行了测试，结果显示其具有相当的鲁棒性，能够泛化到训练中未见过的故障动态。

Abstract

This letter presents a novel approach in the field of active fault detection (AFD), by explicitly separating the task into two parts: Passive Fault Detection (PFD) and control input design. This formulation is ve

active fault detection passive fault detection control input design constrained reinforcement learning actuator fault diagnosis

发现论文，激发创造

基于反证法的强化学习鲁棒性敌对攻击

本文提出了基于 Falsification 的 Robust Adversarial Reinforcement Learning (FRARL) 框架，将时序逻辑 Falsification 整合到 Adversarial Learning 中以提高策略的鲁棒性，实验结果表明，采用该框架训练的智能体比其他方法更具有通用性和遵守安全规则的能力。

Jul, 2020

基于控制壁函数的安全反向强化学习

本文提出了一个名为 CBFIRL 的安全 IRL 框架，利用控制屏障函数（CBF）增强 IRL 策略的安全性，通过梯度下降联合优化 CBF 要求灵感的损失函数和 IRL 方法的目标，在实验中表明我们的框架相较于没有 CBF 的 IRL 方法更加安全，并展示了在 2D 赛车领域的两个难度级别和 3D 无人机领域的安全性提高了 15% 和 20% 和 50%。

Dec, 2022

强韧性对抗性强化学习

提出了一种稳健性的敌对训练 (robust adversarial reinforcement learning, RARL) 方法，该方法将敌对训练与零和极小优化相结合，通过训练一个智能体，使其能够在真实系统上的杂乱因素和不确定性下操作，并在多种环境中进行了验证。

Mar, 2017

基于活动学习的孤立森林 (ALIF)：增强决策支持系统中的异常检测

本文提出了一种基于主动学习的方法（ALIF），用于检测具有领域特定异常定义的不寻常行为，并且性能优于其他最先进的算法。该方法特别适用于集成有异常检测功能的决策支持系统（DSS）。

Jul, 2022

用于非线性系统控制导向识别的主动学习

模型基础的强化学习是控制未知系统有效的方法，本文聚焦于具有非线性参数依赖的模型，并展示了适用于一类非线性动力学问题的主动学习算法的有限样本分析。

Apr, 2024

逆强化学习的主动探索

本文提出使用主动探索策略的逆强化学习算法（AceIRL），该算法通过构造置信区间捕捉潜在的奖励函数，寻找信息最充分的环境区域的探索策略，从而快速学习专家的奖励函数和制定一个良好的策略。AceIRL 是第一种不需要环境生成模型并具有样本复杂度界限的主动逆强化学习方法，并与具备环境生成模型情况下的样本复杂度相匹配，在模拟实验中证明 AceIRL 优于其他探索策略。

Jul, 2022

FP-IRL：基于 Fokker-Planck 的逆强化学习 —— 物理约束的马尔科夫决策过程方法

提出了一种基于 Fokker-Planck（FP）方程的新型物理意识逆强化学习算法 FP-IRL，可以同时推断转移和奖励函数，无需事先估计转移动态，适用于转移函数不可访问的情况

Jun, 2023

通过对抗逆强化学习学习鲁棒奖励

本文提出了一种新颖的反向强化学习算法，基于对抗奖励学习框架，该算法能够实现自动奖励学习并在大规模高维问题中具有很强的适用性和可扩展性，提高了强化学习的性能和应用范围。

Oct, 2017

基于像素的自主驾驶城市环境强化学习

本文介绍了一种新的通过图像学习的强化学习（RLfP）方法，名为 RLAD，用于提高城市自动驾驶（AD）的性能。该方法包括增强的图像编码器、WayConv1D 和辅助损失等技术，并在 NoCrash 基准测试中明显优于所有其他方法。

May, 2023

FIDLAR：用于洪灾缓解的预测引导深度学习架构

在沿海河流系统中，通过使用诸如水坝、闸门、泵和水库等水力结构，以预测前释放水来减轻或甚至预防在暴风雨或大潮期间频繁发生的洪水，可以在很大程度上降低生命和财产的威胁。本文提出了一种名为 FIDLAR 的预测通知深度学习架构，用于实现快速和最优的洪水管理以及准确的预释放水。FIDLAR 无缝集成两个神经网络模块：Flood Manager 负责生成水预释放计划，Flood Evaluator 评估这些生成的计划。以梯度反馈的方式使用 Evaluator 模块进行单独预训练，以训练 Manager 模型以确保最优的水预释放固定计划。我们使用南佛罗里达易受频繁暴风雨影响的洪水易发沿海地区的数据对 FIDLAR 进行了实验。结果显示，FIDLAR 比当前使用的基于物理模型的方法快几个数量级，并通过改进的水预释放计划胜过了基准方法。我们的代码在此 https URL。

Feb, 2024