Jul, 2024

基于多状态退化和深度强化学习的下水道管道维护策略

HTML
PDF
TL;DR大规模基础设施系统的有效管理需要考虑各种复杂性的战略预测和干预方法。我们的研究针对 Prognostics and Health Management (PHM) 框架在污水管道资产中的两个挑战：建立模型以表示不同严重程度水平的管道退化，并开发有效的维护政策。我们采用多状态退化模型 (MSDM) 来表示污水管道的随机退化过程，并使用深度强化学习 (DRL) 来制定维护策略。荷兰污水网络的案例研究充分证明了我们的方法。我们的研究结果表明该模型在生成智能、节省成本的维护策略方面的有效性超过了启发式方法。它根据管道的年龄来调整管理策略，对于较新的管道采取被动策略，对于较旧的管道转为主动策略，以防止故障并降低成本。本研究凸显了深度强化学习在优化维护政策方面的潜力。未来的研究将致力于改进该模型，包括引入部分可观测性、探索各种强化学习算法，并将此方法扩展至综合基础设施管理。
发现论文，激发创造
  • 非参数生存分析用于长期管道失效预测

    使用机器学习技术，基于水管历史故障记录、管道和环境因素描述进行评估和预测，开发了一种非参数生存分析技术Random Survival Forest，能够更好地预测水管故障率，并利用统计推断技术量化了长期预测的不确定性。

    Nov, 2020

  • 利用在线和离线深度强化学习的维护规划框架

    该研究使用深度强化学习方法针对不断恶化的水管开发了一种自动确定最佳恢复策略的成本效益资产管理解决方案，并证明了基于深度强化学习的策略相对于标准的预防性、校正性和贪婪性计划方案具有更好的效果。

    Aug, 2022

  • 基于贝叶斯网络和深度强化学习的具有概率依赖性的退化系统的推断和动态决策

    本文提出了一种面向环境退化的工程系统的决策算法框架，通过部分可观察性马尔可夫决策过程来处理决策问题，采用深度去中心化多智能体演员-评论家强化学习方法对其进行优化, 在工程领域实验表明，DDMAC策略较之现状启发式方法提供了实质性的优势，并且DDMAC策略已内在地考虑了系统效应。

    Sep, 2022

  • 机器维护规划、调度政策和优化的强化学习和深度强化学习解决方案

    该论文综述了强化学习和深度强化学习在维护计划和优化问题上的应用，介绍了利用条件监控数据和强化学习开发智能维护规划者的方法，以及该领域的研究差距、关键见解和未来工作领域。

    Jul, 2023

  • 下水管道CCTV检测计划中降解模型的适用性评估

    该研究提出了一种评估污水管道降解模型适用性的方法，并表明 Logistic Regression 作为一种较少准确但能够产生一致降解曲线和具有高可解释性的模型，在制定检查计划方面比集成模型更加高效。

    Jul, 2023

  • TranDRL: 基于Transformer的深度强化学习驱动的预防性维护框架

    基于变压器神经网络和深度强化学习算法的集成框架，通过有效捕捉传感器数据中的复杂时间模式来准确预测设备的剩余寿命，并提供成本效益和及时的维护建议，从而为产业运营中存在的关键挑战提供创新的数据驱动方法，实现更高效、更经济、更可靠的系统。

    Sep, 2023

  • 基于集中训练和分散执行的多智能体深度强化学习在交通基础设施管理中的应用

    我们提出了一个多智能体深度强化学习框架，用于管理大型交通基础设施系统的全生命周期。该框架通过约束的部分可观测马尔可夫决策过程，解决了在存在不确定性、风险考量和有限资源的情况下，对交通基础设施进行优化管理的问题。通过开发一种名为DDMAC-CTDE的Deep Decentralized Multi-agent Actor-Critic方法，该框架在美国弗吉尼亚州的一个具有代表性和现实性的交通网络应用中展示了优越的性能。与传统的管理策略相比，该方法在真实约束和复杂性下提供了近乎最优的解决方案。

    Jan, 2024

  • 改进的基于长短期记忆模型的深度强化学习废水处理模拟器

    在废水处理中，尽管深度强化学习在机器人技术和游戏领域取得了杰出的成果，但在工业流程优化方面仍面临挑战。本研究通过使用模型的预测数据作为输入以进行校正，并改变损失函数以考虑长期预测形态（动态），提供了改进废水处理数据训练模型的两种方法，提高了模拟器在一年中动态时间弯曲方面的性能。这些改进为基于时间序列数据的生物过程模拟器的创建提供了重要的希望。

    Mar, 2024

  • 基于数据驱动的城市可持续性综合下水道系统建模：实证评估

    本研究解决了气候变化带来的复杂挑战，特别是极端降雨事件对综合下水道系统的影响模型不足的问题。我们采用深度学习模型对大型城市基础设施的下水道系统动态进行预测，验证了这些模型在网络故障情况下的预测精度。研究结果表明，深度学习模型能够有效预测下水道负荷动态，并有助于提高城市基础设施的可持续性和韧性。

    Aug, 2024

  • InfraLib：为大规模基础设施管理启用强化学习和决策制定

    本研究解决了基础设施管理中面对的大规模、随机退化和资源限制等挑战。提出的InfraLib框架通过分层随机方法，提供了现实的基础设施系统建模与分析。研究表明，InfraLib能够有效支持基础设施管理的政策优化，具有重要的实际应用潜力。

    Sep, 2024