在连续空间中集成人类专业知识：一种新颖的交互式贝叶斯优化框架与偏好预期提升

Jan, 2024

在连续空间中集成人类专业知识：一种新颖的交互式贝叶斯优化框架与偏好预期提升

Integrating Human Expertise in Continuous Spaces: A Novel Interactive Bayesian Optimization Framework with Preference Expected Improvement

PDF

Nikolaus Feith, Elmar Rueckert

TL;DR交互式机器学习（IML）旨在将人类专业知识整合到机器学习过程中。我们提出了一种基于贝叶斯优化（BO）的新框架，即交互式贝叶斯优化（IBO），以实现机器学习算法和人类之间的协作，以确保机器能够从人类专业知识中受益，实现更加协调和有效的学习过程，并通过模拟和使用 Franka Panda 机器人在真实世界任务中展示人机协作。

Abstract

interactive machine learning (IML) seeks to integrate human expertise into machine learning processes. However, most existing algorithms cannot be applied to realworld scenarios because their state spaces and/or

interactive machine learning realworld scenarios bayesian optimization interactive bayesian optimization human-robot collaboration

发现论文，激发创造

设计和评估以人为中心的交互式机器学习简要指南

该研究论文提出了一种面向人类的指南，旨在帮助机器学习从业者在开发和部署交互式机器学习系统时，解决人机协作、模型评估、公平透明等责任问题，以促进人类技能和能力的增强

Apr, 2022

加速物理发现的非交互性和交互性多保真贝叶斯优化：当前挑战和未来机遇

在计算材料发现领域，通过多样的交互工作流程和基于贝叶斯优化的多层次恒定调整，结合数据、物理和实时人工决策，提高了对多维参数空间的探索效率。

Feb, 2024

基于集成的交互式模仿学习

我们研究了交互式模仿学习，其中学习者通过与演示专家的互动查询动作注释，旨在学习一种能够与专家表现竞争性能且使用尽可能少的注释的策略。我们提出了一种名为集成交互式模仿学习（EIIL）的算法框架，可实现此目标。从理论上讲，我们证明了 EIIL 的一个效率优于 oracle 版本能够保证尖锐的后悔，前提是可以访问某个对状态具有 “探索性” 分布的样本。经验上，EIIL 在连续控制任务中明显超过在线和离线模仿学习基准。我们的工作为使用模型集合进行交互式模仿学习的收益开辟了系统研究。

Dec, 2023

交互式机器学习的安全探索

该论文提出了一个新的 Interactive Machine Learning 算法，通过一个基于高斯过程先验的框架来避免不安全的决策并优化决策效率，应用到安全贝叶斯优化和安全的 deterministic Markov Decision Processes 中，实验证明该算法优于其他算法。

Oct, 2019

基于语言模型的贝叶斯偏好引导

将 AI 系统与用户的兴趣相协调需要理解和融入人类复杂的价值观和偏好。我们介绍了一个名为 OPEN 的框架，它利用贝叶斯最优实验设计（BOED）指导选择信息丰富的问题，并利用语言模型（LM）提取特征和将抽象的 BOED 查询转化为自然语言问题。通过将 LM 的灵活性与 BOED 的严谨性结合起来，OPEN 能够在保持适应性于现实世界领域的同时优化查询的信息量。用户研究中显示，OPEN 在偏好获取方面优于现有的基于 LM 和 BOED 的方法。

Mar, 2024

基于人类专业知识的可解释模型：优先采用专家混合模式

提出了一种名为 Preferential MoE 的人类 - 机器学习混合专家模型，它可以根据决策中有无人类专家经验的必要性，在需要时对数据分类器进行增强。该模型展示了可解释的门控函数，提供何时遵循或避免人类规则的信息。提出了解决具有凸次问题的耦合多目标问题。提出近似算法并研究其性能和收敛性。最后，我们演示了 Preferential MoE 在治疗人类免疫缺陷病毒（HIV）和管理重度抑郁症（MDD）的两个临床应用中的实用性。

Jan, 2021

一种透明的交互式机器学习方法，利用人工智能在 NP 难问题中找到解决方案

本文介绍机器学习领域的交互式学习方法，通过实验展示了如何使用人机交互的方式将黑箱算法变为透明的算法，以提高算法的可信度和接受度，并探讨了交互式学习方法在健康信息学领域中的应用和优势。

Aug, 2017

人类参与协作和可解释性贝叶斯优化

我们提出了一种协作和可解释的贝叶斯优化框架（CoExBO），它通过优先学习无缝地将人类洞察力整合到优化中，为用户提供与其偏好相符的算法建议，并通过解释候选项选择来建立信任，使用户对优化有更清晰的掌握。此外，CoExBO 提供不会造成损害的保证，允许用户犯错误；即使进行极端对抗性干预，该算法也渐进地收敛到一个标准的贝叶斯优化方法。通过在锂离子电池设计中进行人工智能协作实验，我们验证了 CoExBO 的有效性，并凸显了与传统方法相比的显著改进。

Oct, 2023

基于强化学习的具身智能体通过互动与多感知模拟对人类用户进行建模

本文研究交互式机器学习的发展和应用，探讨人类反馈对于机器人行为的影响和提高机器人性能的方法，发现人类反馈参数对于任务性能的影响很大，需要更好地了解人类反馈的潜在变量以更好地处理人机交互领域的问题。

Jan, 2017

人算协同贝叶斯优化工程系统

应用高通量贝叶斯优化和离散决策理论，提出了一种协同贝叶斯优化方法，以将人类专家的知识融入数据驱动的决策过程中，实现更快的收敛和改善工程系统中贝叶斯优化的可追踪性。

Apr, 2024