交互式机器学习的安全探索

Oct, 2019

Safe Exploration for Interactive Machine Learning

Matteo Turchetta, Felix Berkenkamp, Andreas Krause

TL;DR该论文提出了一个新的 Interactive Machine Learning 算法，通过一个基于高斯过程先验的框架来避免不安全的决策并优化决策效率，应用到安全贝叶斯优化和安全的 deterministic Markov Decision Processes 中，实验证明该算法优于其他算法。

Abstract

In interactive machine learning (IML), we iteratively make decisions and obtain noisy observations of an unknown function. While IML methods, e.g., bayesian optimization and →

interactive machine learning safe learning bayesian optimization active learning gaussian process

发现论文，激发创造

信息论安全贝叶斯优化

通过提出一种信息论安全探索准则，本研究结合贝叶斯优化采样函数，基于高斯过程推断直接识别最具信息价值的安全参数进行评估，从而实现连续领域的可行性约束优化。

Feb, 2024

利用高斯过程进行有限马尔可夫决策过程的安全探索

本文提出针对有安全限制的探索问题的新型算法，使用高斯过程先验来表达未知安全限制，具有积极探索安全状态和行为、同时考虑到可达性并能够完全探索可达状态的能力。演示实验使用机器人探索数字地形模型。

Jun, 2016

全球安全连续学习：高效知识传递

通过转移安全顺序学习，实现在给定的观测下全局探索多个不相交的安全区域，并以与传统安全学习方法相当的计算量下，以更低的数据消耗学习任务。

Feb, 2024

安全贝叶斯优化的元学习先验

本文提出一种基于元学习的数据驱动方法，以从离线数据中元学习优化安全贝叶斯优化的先验知识，通过经验不确定度度量和前沿搜索算法选择符合安全限制的先验范围，加速了安全 BO 方法的收敛速度并保持了安全。

Oct, 2022

一个计算轻量级的安全学习算法

在这篇论文中，我们提出了一种安全学习算法，通过使用 Nadaraya-Watson 估计器而不是高斯过程，提供概率安全保证，并且在数据点数量方面实现对数级别的扩展。我们为估计结果提供了理论保证，将其嵌入到一个安全学习算法中，并在模拟的七自由度机器人操纵器上进行了数值实验。

Sep, 2023

在连续空间中集成人类专业知识：一种新颖的交互式贝叶斯优化框架与偏好预期提升

交互式机器学习（IML）旨在将人类专业知识整合到机器学习过程中。我们提出了一种基于贝叶斯优化（BO）的新框架，即交互式贝叶斯优化（IBO），以实现机器学习算法和人类之间的协作，以确保机器能够从人类专业知识中受益，实现更加协调和有效的学习过程，并通过模拟和使用 Franka Panda 机器人在真实世界任务中展示人机协作。

Jan, 2024

高效计算的高斯过程在主动学习中的安全界限

基于自适应采样的高斯过程后验中极值中位数的可证明安全边界为活动学习提供了有效的安全约束，以便在物理系统中进行设计空间的探索。

Feb, 2024

安全多任务贝叶斯优化

将健壮的高斯过程均匀误差边界扩展到多任务设置，通过后验超参数分布的马尔科夫链蒙特卡罗方法计算置信区间，应用贝叶斯优化来安全优化系统并结合模型的测量数据，仿真表明与其他最先进的安全贝叶斯优化方法相比，优化过程可以显著加速，取决于模型的准确性。

Dec, 2023

基于学习的模型预测控制用于安全探索

本文提出了一种基于学习的模型预测控制方案，其可以提供可证明的高概率安全保证，并利用正态分布先验的规则性假设来构建可证明准确的置信区间，保证轨迹满足安全约束，通过终端集约束递归地保证每个迭代中存在安全控制动作。在实验中展现了该算法可以用来安全、高效地探索和学习动态系统。

Mar, 2018

阶段安全的高斯过程贝叶斯优化

本研究针对优化未知效用函数的绝对或偏好反馈时的安全性约束问题，提出了一种有效的安全贝叶斯优化算法 StageOpt，并通过理论和临床实验验证了 StageOpt 在扩展安全区域和最大化效用函数两个阶段上的高效性和效果优于现有方法的特点。

Jun, 2018