Jun, 2022

不确定性估计的整体学习：先验函数和自助法的优势

PDF
TL;DR本文将探讨模型集成中两个重要因素 -- 先验函数和自助法 -- 的作用，提出了先验函数可以显著提高集成模型在输入上的预测能力且自助法可以在信号 - 噪声比变化时带来额外的好处。通过理论和实验结果，作者证明了这两个元素对于提高机器学习代理的表现和决策效果是必不可少的。
machine learninguncertainty estimationensemble modelsprior functionsbootstrapping
发现论文，激发创造
  • 深度强化学习的随机化先验函数

    本文讨论强化学习中的不确定性估计问题，为解决序列决策问题提出了一种随机不可训练 “先验” 网络的方法。实验证明该方法对于线性和非线性表示方法均有效，并且相较之前的尝试在大规模问题上表现更佳。

    Jun, 2018

  • 深度强化学习的多元先验

    在强化学习中，代理人旨在最大化累积奖励，面临利用现有知识获取奖励或寻求潜在更高奖励的开发与探索困境。我们引入了一种创新方法，通过精心设计的先验 NNs，在强化学习的初始值函数中引入最大多样性，以解决常规集成型不确定性估计的问题。相比于随机先验方法，我们的方法在解决经典控制问题和一般性探索任务中表现出优越的性能，显著提高样本效率。

    Oct, 2023

  • 语言奖励模型的不确定性估计

    该论文探讨了利用不确定性估计技术提高样本效率和鲁棒性的方法，其中提出了利用打包聚合技术训练奖励模型，但研究结果显示，集成主动学习并不比随机采样更有效。

    Mar, 2022

  • 神经网络的不确定性：近似贝叶斯集成

    该论文介绍了一种基于贝叶斯原理的神经网络反演方法，利用对先验分布采样的数据正则化参数，从而提高神经网络模型的预测不确定性识别和量化能力。经过理论和实证分析，该方法相对于传统的平均集成技术具有更好的性能表现。

    Oct, 2018

  • 预训练对贝叶斯优化的帮助

    研究利用类似函数数据进行先前训练来设置高斯过程先验，以优化机器学习模型的超参数调整问题，结果表明该方法比其他方法高效至少三倍。

    Jul, 2022

  • 通过置信区间和假设检验对随机森林中的不确定性进行量化

    本文提出针对机器学习集成方法的正式统计推断程序，重点在于利用样本的子样本进行 U - 统计的预测，进而提供置信区间，以及作为检验功能、估计方差等应用。

    Apr, 2014

  • 深度集成：一种损失景观的视角

    通过研究深度神经网络的损失函数平面的同构性，我们证明了深度集合优于贝叶斯神经网络在提高准确度和对数据集变化的鲁棒性方面，并发现随机初始化的权重可以探索不同的函数空间而产生更多样的结果。

    Dec, 2019

  • 离线策略评估中的统计自举法用于不确定性估计

    本文研究了使用统计自助法来校准有偏策略价值估计结果得到置信区间的潜力，并提出了适用于实际情况的机制以减轻其影响。结果显示该方法在各种条件下能够产生准确的置信区间。

    Jul, 2020

  • 回归先验网络

    本文延伸了 Prior Networks 和 EnD$^2$ 模型，通过正态 - 旺季分布，将其应用于回归任务，实现模型的可解释性、不确定性而保留高精度，相关实验结果表明该模型在各领域均表现出与集成模型相当的性能。

    Jun, 2020

  • 面向不确定性的引导式学习，用于远程监督数据上的联合抽取

    提出使用不确定性感知引导的自我集成方法，令模型在远程监督数据中更准确地提取有歧义或嘈杂标签的实体对及其关系，实验证明其有效性和优于现有基线的性能。

    May, 2023