通过主动的 MDP 学习进行概率性黑盒验证

Jul, 2023

通过主动的 MDP 学习进行概率性黑盒验证

Probabilistic Black-Box Checking via Active MDP Learning

Junya Shijubo, Masaki Waga, Kohei Suenaga

TL;DR我们介绍了一种新的测试随机黑盒系统的方法，该方法通过使用主动马尔科夫决策流程、概率模型检查和统计假设检验等技术，改进了传统的黑盒检查方法，并且在实验结果中表现优于现有方法。

Abstract

We introduce a novel methodology for testing stochastic black-box systems, frequently encountered in embedded systems. Our approach enhances the established black-box checking (BBC) technique to address stochastic behavior. Traditional BBC primarily involves iteratively identifying an

stochastic black-box systems probbbc automaton active markov decision process statistical hypothesis testing

发现论文，激发创造

使用 Baum-Welch 算法主动学习马尔可夫决策过程（扩展版）

本文探讨应用自动机学习算法对基于模型验证的关键信息进行提取，实现对物理系统的建模，并基于主动学习和 Baum-Welch 算法对马尔可夫决策过程和马尔可夫链进行学习，最终证明了该种方法可以显著减少建模所需的观测次数。

Oct, 2021

概率模型检查和自主性

本文综述了概率模型检测在 PRISM 和 PRISM-games 模型检查器支持下的可观测和不可观测马尔可夫决策过程、顺序和并发随机博弈以及相关概率时态逻辑，以及其在自主系统中的应用，并探讨了未来研究方向和挑战。

Nov, 2021

强健的马尔可夫决策流程即时学习

本文介绍了一种鲁棒的任意学习方法，该方法结合了贝叶斯推断模型和计算稳健策略的方法，以不确定性马尔科夫决策过程（uMDPs）为基础，并通过实验验证了该方法的有效性。

May, 2022

马尔可夫决策过程验证学习算法

提出了一个泛用的框架，应用学习算法和启发式指导来验证马尔可夫决策过程 (MDP)，主要关注概率可达性问题，包括精确和近似的情况，不受时间限制或折扣因子等条件的限制。

Mar, 2024

黑盒顺序决策系统的自主能力评估

本文提出了一种能够有效描述黑盒决策系统能力的主动学习方法，并证明了该方法的收敛性和少许示例的普适性。

Jun, 2023

统计模型检验基础的改进

Markov 决策过程和统计模型检测在未知转移概率、浓度不等式等方面的改进以及实验评估的重要性。

Apr, 2024

模型不确定性下的稳健主动测量

在序列决策中，部分可观测性和不确定性是常见问题，对于使用马尔可夫决策过程（MDPs）等形式模型造成阻碍。然而，在实践中，代理可以使用昂贵的传感器来测量环境并通过收集信息来解决部分可观测性问题。此外，不精确的转移函数可以捕捉模型不确定性。我们将这些概念结合起来，扩展 MDPs 为鲁棒主动测量 MDPs (RAM-MDPs)。我们提出了一种用于高效解决 RAM-MDPs 的主动测量启发式算法，并展示了模型不确定性可以让代理方采取更少的测量，这是违反直觉的。同时，我们提出了一种方法来抵消这种行为，只产生有限的额外成本。我们通过与几种基准方法进行实证比较，并展示了其卓越的可伸缩性和性能。

Dec, 2023

可证明安全且鲁棒的基于学习的模型预测控制

本研究介绍了一种学习基础的模型预测控制 (LBMPC) 方案，在提高系统性能的同时提供稳健性的确定性保证。该方案利用统计识别工具识别系统的更丰富模型，通过维护两个模型，可以在一个优化框架中将安全性和性能隔离。LBMPC 通过选择最小化成本的输入来提高性能，并通过检查模糊模型稳定性来确保安全性和鲁棒性。此外，我们证明如果系统充分兴奋，则 LBMPC 控制行动以概率收敛为使用真实动力学计算的 MPC 的行动。

Jul, 2011

利用机器学习改进 MDPs 的概率双模拟

我们提出了一种新技术，通过使用给定模型的 PRISM 程序构建一些模型的小版本并训练一个分类器，然后应用机器学习分类技术来近似相关分区，将分区结果作为标准双模拟技术的初始分区，以减少方法的运行时间。实验结果表明，该方法与最先进的工具相比，可以显著减少运行时间。

Jul, 2023

基于机器学习系统独立系统黑盒测试概述

该研究论文提出了一种测试程序，可以独立于实际训练过程来测试机器学习模型和基于机器学习的系统；从黑盒的角度，结合机器学习模型的内在随机特性和训练数据，可以验证这些模型和系统的常见质量指标，如准确度和精确度。通过一系列测试实验，该论文提供了初步结果，并提出了扩展现有测试方法以反映机器学习模型和基于机器学习的系统的随机特性。

Jan, 2024