ICMLOct, 2021

使用 Baum-Welch 算法主动学习马尔可夫决策过程（扩展版）

PDF
TL;DR本文探讨应用自动机学习算法对基于模型验证的关键信息进行提取，实现对物理系统的建模，并基于主动学习和 Baum-Welch 算法对马尔可夫决策过程和马尔可夫链进行学习，最终证明了该种方法可以显著减少建模所需的观测次数。
cyber-physical systemsmodel-based verificationautomata learning algorithmsmarkov decision processesactive learning
发现论文，激发创造
  • 马尔可夫决策过程中的主动探索

    本研究针对在 Markov 决策过程中的主动探索问题进行了研究，提出了一种新的学习算法，用以解决 MDPs 中的主动探索问题并证明了其相对于 MAB 来说更为复杂，同时也给出了一个用于缓解策略收敛速度缓慢的启发式过程。

    Feb, 2019

  • 通过主动的 MDP 学习进行概率性黑盒验证

    我们介绍了一种新的测试随机黑盒系统的方法，该方法通过使用主动马尔科夫决策流程、概率模型检查和统计假设检验等技术，改进了传统的黑盒检查方法，并且在实验结果中表现优于现有方法。

    Jul, 2023

  • 马尔可夫决策过程验证学习算法

    提出了一个泛用的框架，应用学习算法和启发式指导来验证马尔可夫决策过程 (MDP)，主要关注概率可达性问题，包括精确和近似的情况，不受时间限制或折扣因子等条件的限制。

    Mar, 2024

  • 制造业中基于情境赌博机的集合主动学习

    在线感知和计算资源在工业物联网系统（Industrial Cyber-physical Systems，ICPS）中促进了以人工智能为驱动的决策制定。然而，数据质量的问题，如不平衡类别，阻碍了离线训练的人工智能模型。为了解决这个问题，人工智能模型通过流式数据进行在线更新，持续改进。然而，监督学习模型在选择质量流式样本进行更新时面临注释限制的挑战。文献中的主动学习方法通过关注不充分或充分代表的区域提供了解决方案。在不断变化的制造背景下平衡这些策略是具有挑战性的。一些人工智能学到的获取准则动态地适应，但可能不一致地处理频繁变化。我们引入了一种集成主动学习方法 CBEAL，专门用于探索或开发的主动学习代理。代理的权重根据代理决策的有效性进行调整。CBEAL 在最小化人工注释的同时，优化地指导数据获取。我们的理论分析和实证研究验证了 CBEAL 在 ICPS 制造过程建模方面的效率。

    Oct, 2023

  • 主动查询的马尔科夫形式

    我们综述了近期人工智能领域中积极学习算法的研究现状，并提出了一种基于马尔可夫模型的形式化方法来组织该领域的研究。我们将提出的形式化方法应用于数据集增强，奖励更新等积极学习过程的元状态转移，以及针对其它方面如何适应形式化方法。

    Jun, 2023

  • 学习部分可观测环境的有限状态控制器

    本文介绍了使用有限状态自动机表示具有有限记忆的策略学习算法，具体探讨在部分可观测的 MDP 问题中，基于随机梯度下降的 VAPS 算法进行本地优化的通用有限状态自动机控制器的问题。并进一步讨论了在何种条件下随机梯度下降将优于精确梯度下降的问题，通过实证研究验证了该算法在补偿每个时间步上的不可观测性方面发挥了良好的效果。

    Jan, 2013

  • 高斯过程状态空间模型本地主动学习

    本文提出了一种基于高斯过程状态空间模型的主动学习策略，旨在获取状态操作空间有界子集上的准确模型，并通过模型预测控制集成探索过程中收集的信息和自适应改进探索策略。

    May, 2020

  • 实践中学习：非稳态马尔可夫决策过程中的自适应决策

    在处理非平稳环境的序贯决策问题中，我们提出了一种自适应蒙特卡洛树搜索算法，通过学习环境的更新动态来改进决策过程，减少过分悲观的行为并提高决策速度。

    Jan, 2024

  • 马尔可夫决策过程中的主动模型估计

    本文研究了基于 Markov 决策过程 (MDP) 环境中的精确建模的高效探索问题，提出一种以加权熵为基础的算法用于解决贪心算法在探索初阶段表现较差的问题，并在简单的具有异构噪音的两个问题上进行了验证。

    Mar, 2020

  • 高斯过程状态空间模型中的主动学习

    本文研究了高斯过程状态空间模型的主动学习。通过决定其输入，我们可以通过 GPSSM 最优地学习系统的潜在状态，以便选择最具信息量的输入。我们提出了两种逼近潜在状态下 GPSSM 的互信息的方法，并在多个物理系统中进行了评估。

    Jul, 2021