精确估计线性模型的主动学习
本文提出自适应子模性的概念,将子模集函数推广到自适应策略,并使用自适应贪心算法解决具有不确定性结果的随机优化问题,通过使用懒惰评估方法显著加快了算法。通过提供子模目标的几个示例,包括传感器放置,病毒营销和主动学习,证明了自适应子模性的实用性。
Mar, 2010
我们提出了 EC2 这个新的、贪心的主动学习算法,并证明了它与最优策略相竞争,因此得到了关于具有噪声观察的贝叶斯主动学习的第一个竞争保证。我们的结果基于最近发现的一种递减回报性质,称为自适应子模性,将子模集函数的经典概念推广到适应策略中。
Oct, 2010
该论文研究了主动学习中困难的预测模型选择问题,并提出一种基于模型探针(model probes)的方法Biased-Robin Algorithm,能够在相同成本和先验概率下有效地选择模型。
Jul, 2012
通过交互查询子集示例的标签,主动学习器在模型类和大量未标记示例的情况下学习适合数据的模型。本文提供了一个适用于极大似然估计的两阶段主动学习算法和标签需求的上限和下限分析,并表明这种方法在一些情况下可以实现近乎最优的性能。
Jun, 2015
本文主要研究的问题是:如何在样本预算有限的情况下,统一地估计多个分布的平均值。通过采集数量,可以根据它们的方差为已知来设计最优的采样策略,但在更实际的情况下,需要设计自适应采样策略来选择要采样的分布(根据先前观察到的样本)。文章描述了两种策略,根据样本数据以高概率上限置信界为比例,拉动分布并报告相对于最优配置的过度估计误差的有限样本性能分析。我们表明这些分配策略的性能不仅取决于方差还取决于分布的完整形状。
Jul, 2015
该研究考虑在线主动学习来收集回归建模的数据,提出了一种基于阈值的算法来选择最具信息量的观测数据,并将其推广到高维稀疏线性回归,仿真结果表明该算法相对于被动随机抽样具有显著优势。
Feb, 2016
提出了一种主动和自适应地解决一系列机器学习问题的框架,该框架通过使用一些未标记数据池中的最具信息量的样本,利用先前步骤中获得的信息,使用基于随机梯度下降的主动学习算法来实现近乎最优的风险性能,并构建了一个学习问题变化的估计器,通过使用主动学习样本提供一种自适应的样本大小选择规则,以保证足够的时间步数时超额风险是有界的。
May, 2018
研究了一种高效的批量主动学习算法,该算法结合不确定性和多样性概念,在批量设置中易于扩展,并与先前研究中使用的批量大小(100K-1M)相比提高模型训练效率。同时,还证明了相关采样方法的标签复杂度保证,该方法在特定情况下几乎等同于我们的采样方法。
Jul, 2021
在上下文强化学习中进行模型选择是一项重要的补充问题。本研究提出了一些新的算法,这些算法可以在数据自适应的情况下进行探索,并提供模型选择保证。
Nov, 2021