Oct, 2023

全球模型中集成新颖性检测的简单方法

PDF
TL;DR我们提出了一种将新颖性检测引入世界模型强化学习代理中的直接边界方法，通过利用世界模型产生的虚拟状态与真实观察状态的不一致作为异常得分，有效探测并保护代理在新环境中的性能和可靠性。
reinforcement learningworld modelsnovelty detectionsequential decision makingmachine learning
发现论文，激发创造
  • 对抗环境中交互创新处理的方法和机制

    本文介绍了一种应对开放性场景中新颖性挑战的方法，该方法结合了逻辑表示和推理方法，利用通用方法和架构机制检测、表征新颖性，并构建相应的适应性模型进行应对。通过在多智能体博弈中的评估，结果表明所提出的方法在各种新颖性挑战下均表现出高准确率。

    Feb, 2023

  • 适应开放世界新奇性的神经符号世界模型

    本文研究了如何提高强化学习算法的适应性，通过引入一种名为 WorldCloner 的训练神经符号世界模型，从而实现快速的新颖性适应，并使用想象力来辅助适应后的策略，达到更高的效率。

    Jan, 2023

  • 游戏中的新颖性检测和适应性调整

    该研究提出了一种基于模型的强化学习方法，在该方法中，游戏状态和规则都是以知识图谱的形式表示，有助于检测游戏环境中的开放性创新，并进行智能重训练。

    Jun, 2021

  • 高保真模拟开放世界中的新颖性适应多智能体规划

    本文旨在探索如何让自主智能系统在真实世界的环境中适应、解决并执行计划，针对其中出现的未知问题和新的情况需要进行建模和检测。

    Jun, 2023

  • 通过调整规划模型学习在开放世界中的操作

    在开放世界中，我们介绍了一个适应新颖性的规划领域模型的方法，通过检测行动执行的观察值和环境模型的预期值之间的差异来推断新颖性的存在，并通过启发式导向的模型改变搜索来修订模型。我们在标准的强化学习基准 CartPole 问题上进行实证评估，结果表明我们的方法可以快速且可解释地处理一类新颖性。

    Mar, 2023

  • NovGrid: 评估智能体对新颖性响应的灵活网格世界

    研究提出了一种新奇性改进的强化学习方法，针对具有改变环境机制 / 属性的新奇性，提出了 NovGrid 框架及其本体，以及可以应用于 MiniGrid 兼容环境的新奇性模板，并通过内置度量指标评估了基线强化学习模型的特征。

    Mar, 2022

  • 开放世界持续学习：统一新颖性检测和持续学习

    论文理论证明了，对于 class incremental learning 来说，out-of-distribution detection 实际上是必需的。因此，一个好的 class incremental learning 算法必须要同时具备良好的 within-task prediction 和 out-of-distribution detection 能力，这将统一 novelty 或 out-of-distribution detection 以及 continual learning.

    Apr, 2023

  • 一种强健的似然函数模型用于新颖性检测

    本文针对深度神经网络在检测新颖性或异常性时容易受到输入数据微小变形的问题，提出了一个旨在学习强大的新颖性检测正确性的先验；同时，将该先验与最先进的新颖性检测方法相结合，并评估了该方法在攻击存在与否的情况下的性能表现，得到了较好的结果。

    Jun, 2023

  • 自主驾驶中基于世界模型的异常检测潜能探索

    自动驾驶中的异常检测研究综述，重点介绍了如何利用世界模型及相关组件实现预测建模、稀疏奖励和复杂控制任务的突出结果。

    Aug, 2023

  • NovelCraft: 开放世界中的新颖性检测与发现数据集

    本研究介绍了一个新的基准数据集 NovelCraft，包含在 Minecraft 环境中完成跳跃球组装任务的代理人所看到的图像和符号世界状态的多模态故事数据。进一步的多模态新颖性检测实验表明，融合视觉和象征信息的方法能够提高检测时间和总体识别能力，同时对于复杂场景中新不平衡分类的适应仍然是一个令人兴奋的开放性问题。

    Jun, 2022