Mar, 2023

使用循环神经网络和模型无关强化学习进行未知环境中的主动假设检验

PDF
TL;DR该研究提出一种深度强化学习和监督学习相结合的方法，用于解决在完全未知环境中的主动顺序假设测试问题。结果表明，与 Chernoff 测试相比，该方法在有限和无限视野问题中表现出竞争力并有时表现更好。
deep reinforcement learningsupervised learningactive sequential hypothesis testingunknown environmentschernoff test
发现论文，激发创造
  • 使用深度学习的主动序贯假设检验政策设计

    该研究使用基于深度学习的启发式和 KL 分歧零和游戏设计方法来解决部分可观测马尔可夫决策过程中的主动序贯假设测试问题，并表明在某些情况下所提出的启发式方法优于现有方法。

    Oct, 2018

  • 深度实时假设测试

    我们提出了一个通用的框架，用于构建针对大类非参数测试问题的强大的连续假设检验。该框架可以统一处理多个经典任务，如双样本测试、独立性测试和条件独立性测试，以及现代问题，如对机器学习模型的对抗鲁棒性测试。我们的方法对传统批量测试具有以下优势：1) 它持续监控在线数据流并有效地聚合针对零假设的证据，2) 它在不需要多重测试校正的情况下对类型 I 错误进行严格控制，3) 它根据问题的未知难度调整样本大小要求。我们在测试通过投票框架（testing-by-betting framework）中利用机器学习模型的表示能力方面开发了一种基于原则的方法，这是一种用于设计连续测试的博弈论方法。在合成和真实数据集上的实证结果表明，使用我们的通用框架实例化的测试在多个任务上与专门的基准测试相竞争。

    Oct, 2023

  • 主动推理的扩展

    本研究通过在高维任务上实施主动推理，证明了该方法的可行性，并展现了主动推理与强模型无关基线的样本效率的数量级提升和操作同质性。

    Nov, 2019

  • 使用主动推理的贝叶斯策略选择

    该论文研究了基于自由能原理的主动推理对机器学习中的强化学习和示范学习问题的解决，并将此概念应用于标准问题山车问题，结果表明主动推理可以涵盖强化学习和示范学习技术。

    Apr, 2019

  • 通过主动迁移学习自动测试空间相关环境假设

    本研究通过多任务高斯过程和基于信息的目标函数结合迁移学习和主动学习，探索假设的相关关系空间，并实时评估这些假设，以提高规划效率。该方法通过在前 5 个样本内降低预测误差 1.5-6 倍来减少采样成本，并能快速识别和拒绝不良假设，不会对规划产生不良影响。

    Feb, 2024

  • 风险感知主动逆强化学习

    本文提出一种风险感知主动逆强化学习算法，旨在最小化机器人正在学习的策略的性能风险，并将主动查询集中在具有潜在大通用误差的状态空间区域，证明该算法在网格世界、模拟驾驶和桌子铺设任务上优于标准主动逆强化学习方法，并提供一种基于性能的停止准则，使机器人知道何时已接受足够的演示以安全地执行任务。

    Jan, 2019

  • 利用深度神经网络和期望模型输出变化进行主动和连续的探索

    我们提出了使用基于深度神经网络的期望模型输出变化的新原则来实现连续主动学习和探索算法，为语义概念的主动获取提供一种解决方法，并且我们的实现方法在实验中优于目前使用的启发式算法。

    Dec, 2016

  • 假设网络计划探索快速元强化学习适应

    Meta Reinforcement Learning 的 Hypothesis Network Planned Exploration（HyPE）方法结合了主动和计划的探索过程，通过假设网络优化了适应速度，在快速演化的环境中显示出比基线方法更高的适应速度和模型准确性。

    Nov, 2023

  • 异构过程中的主动异常检测

    研究了一种检测异质进程中异常的主动推理问题。提出了一种序贯探测策略，动态地确定每个时间要观察哪些进程以及何时终止搜索。提出了一种低复杂度的确定性测试，其渐近最优性与 Chernoff 测试相同，但在有限范围内性能更好，收敛更快，特别是当进程数量很大时，所提出的测试的计算复杂度也非常低。

    Apr, 2017

  • 学习主动学习：深度强化学习方法

    该论文提出了将主动学习重新表述为一种强化学习问题，并明确学习数据选择策略，其中策略充当主动学习启发式算法的角色，以解决启发式选择方法的有效性受限且性能因数据集而异的问题。我们使用跨语言命名实体识别来演示我们的方法，发现相对于传统的主动学习，我们的方法获得了均衡的改进。

    Aug, 2017