Feb, 2020

概率模型检查器 Storm

PDF
TL;DR本文介绍了一种名为 Storm 的概率模型检查器，它支持 Markov 链和 Markov 决策过程的离散和连续时间变体，并且支持多个输入语言，包括 JANI 和 PRISM 建模语言，动态故障树，广义随机 Petri 网络和概率保护命令语言。它的特点是具有模块化的设置，在其中求解器和符号引擎可以轻松地交换，并且其 Python API 可以通过封装 Storm 的快速可扩展算法进行快速原型设计。本文重点介绍了 Storm 的主要功能，并解释了如何有效地使用它们。最后，对 Storm 在 QComp 2019 基准集的不同配置进行了实证评估。
probabilistic model checkermarkov chainsmarkov decision processesinput languagespython api
发现论文，激发创造
  • 风暴来袭：现代概率模型检查器

    我们推出了新的概率模型检查器 storm，支持分析离散和连续时间的 Markov 链和 MDPs 的变体，还支持多种建模语言和快速的可扩展算法。

    Feb, 2017

  • 随机强化学习策略的概率模型检验

    我们介绍了一种验证随机强化学习政策的方法，该方法与任何强化学习算法兼容，只要算法及其对应的环境共同遵守马尔科夫属性。我们的方法将模型检验技术与强化学习相结合，利用马尔科夫决策过程、训练好的强化学习策略和概率计算树逻辑（PCTL）公式构建一个正式模型，并通过模型检验器 Storm 进行验证。我们在多个基准测试中展示了我们的方法的适用性，并与称为确定性安全估计和简单的整体模型检验方法进行了比较。我们的结果表明，我们的方法适用于验证随机强化学习政策。

    Mar, 2024

  • 概率模型检查和自主性

    本文综述了概率模型检测在 PRISM 和 PRISM-games 模型检查器支持下的可观测和不可观测马尔可夫决策过程、顺序和并发随机博弈以及相关概率时态逻辑，以及其在自主系统中的应用，并探讨了未来研究方向和挑战。

    Nov, 2021

  • STORM: 基于随机 Transformer 的高效强化学习世界模型

    近年来，基于模型的强化学习算法在视觉输入环境中展现出了显著的效果。本研究介绍了一种名为 STORM 的高效世界模型架构，它将 Transformer 的强大序列建模和生成能力与变分自编码器的随机性结合起来，取得了 Atari 100k 基准测试的均值人类表现为 126.7％的成绩，同时在使用单个 NVIDIA GeForce RTX 3090 显卡进行 1.85 小时的实时交互训练时仅需 4.3 小时，证明其相对于之前的方法具有更高的效率。

    Oct, 2023

  • GraphStorm: 为工业应用而设计的一体化图机器学习框架

    GraphStorm 是一个端到端的解决方案，提供可扩展的图构建、模型训练和推理，并具有易于使用、适用于海量数据集和扩展性强的特性。

    Jun, 2024

  • 在极端环境中部署机器人的概率模型检查

    本文介绍了一个用于验证机器人安全和可靠性需求的概率模型检查框架，并使用两种新型估计器（基于保守贝叶斯推断和不精确概率模型）从实际操作数据中学习未知的转移参数。在极端环境下的无人潜水器实际部署数据上演示了该方法。

    Dec, 2018

  • 规模化 Transformer 神经网络用于高技巧和可靠的中期天气预报

    通过 Stormer，一种基于转换器模型的简单天气预报方法，我们能够以较少的训练数据和计算量实现与现有方法相媲美的准确性，在 7 天以上的天气预报中表现出色，并展示了其有利的扩展性。

    Dec, 2023

  • 统计模型检验基础的改进

    Markov 决策过程和统计模型检测在未知转移概率、浓度不等式等方面的改进以及实验评估的重要性。

    Apr, 2024

  • 多智能体验证与控制的概率模型检验

    概率模型检查是一种在不确定性或随机性背景下对软件或硬件系统进行形式化自动推理的技术。该技术综合了来自多个领域的思想和技术，包括逻辑、自动机理论、图论、优化、数值方法和控制。最近，概率模型检查还扩展到整合博弈论中的思想，特别是使用随机博弈模型和均衡解概念来正式验证具有不同目标的多个理性代理之间的交互。这提供了一种灵活推理有关代理以对抗或协作方式行动的手段，并为人工智能、机器人和自主系统等领域解决新问题带来机遇。本文概述了该领域的一些进展，并强调了它们已经被使用的应用。我们讨论了概率模型检查的优势如何应用或有潜力应用于多智能体系统，并概述了在这一领域取得更进一步的关键挑战。

    Aug, 2023

  • AI 模型对比基于物理模型的天气预报：以风暴 Ciarán 为例的量化评估案例研究

    机器学习模型和数值天气预报模型在模拟高影响天气事件方面的表现进行了比较，发现机器学习模型能准确捕捉到气旋的宏观结构，但在发出天气警报所需的细节结构方面表现较为复杂。

    Dec, 2023