通过半监督深度学习与主动学习相结合的方法，使用尽可能少的标记样本，同时利用熵最小化对未标记样本进行训练，在 MNIST 数据集上仅使用 300 个标记样本实现 2.06% 的误差率和 1000 个标记样本实现 1.06% 的误差率。该方法可以获得高准确性的敏捷标注过程，同时节省标记成本。

Mar, 2018

本文比较了利用事件真值标签和利用类别比率这两个训练机器学习算法的方式，发现弱监督方法能够在信息不足的情况下提供令人满意的性能，并且在粒子物理学中得到了应用。实验证明，弱监督神经网络对于训练样本被误分类的问题具有极强的鲁棒性，并且与全监督神经网络相比可以探测到不同的运动学参数，表现出不同的事件级输出。由此，我们可以通过结合两种类型的网络输出来提高机器学习算法的分类能力。

Jun, 2017

探讨在机器学习中存在恶意数据时的问题，其中的 list-decodable learning 和 semi-verified learning model 框架及稳健学习算法提供强大的解决方案。

Nov, 2016

本文研究了一种名为 “部分信息” 的在线学习模型，提出了多种算法，通过信息反馈结构的组合特性，给出了紧密的遗憾界限。

Sep, 2014

本文回顾了如何使用最优数据选择技术来优化一些类型的机器学习算法，包括前馈神经网络、高斯混合模型和局部加权回归，并探讨了此方法如何降低训练数据量，提高模型性能。

Mar, 1996

本文提出了一个信息理论框架，用于统一主动学习问题：水平集估计（LSE）、贝叶斯优化（BO）及其广义变体。首先介绍了一种新颖的主动学习标准，该标准包含了现有的 LSE 算法并在连续输入域的 LSE 问题中达到了最先进的性能。然后，通过利用 LSE 和 BO 之间的关系，我们设计了一个竞争性的信息理论获取函数，该函数具有与上置信上界和最大清洗熵搜索（MES）的有趣联系。我们的统一信息理论框架可以应用于以数据有效的方式解决 LSE 和 BO 的广义问题。最后，我们使用合成基准函数、真实世界数据集和超参数调整机器学习模型来实证评估我们的算法性能。

Dec, 2020

该论文探讨了利用不确定性估计技术提高样本效率和鲁棒性的方法，其中提出了利用打包聚合技术训练奖励模型，但研究结果显示，集成主动学习并不比随机采样更有效。

Mar, 2022

全监督模型在贝叶斯主动学习中占主导地位，我们认为它们对未标记数据中的信息的忽视不仅损害了预测性能，也影响了关于获取哪些数据的决策。我们提出了一个简单的半监督贝叶斯主动学习框架，发现它比传统的贝叶斯主动学习或随机获取数据的半监督学习能够生成更好的模型。该框架也更易于扩展。除了支持向半监督模型的转变外，我们的发现还强调了研究模型和获取方法的重要性。

Apr, 2024

通过在线分类中充分利用现有的分类器和人类专家，研究了模型预测方面不收费，但询问人类专家会产生一定成本的任务。鉴于无法获得准确的真实标签，我们将预测目标定义为所有专家共识投票。鉴于获得完整共识可能成本高，我们提出了一般的在线贝叶斯共识估计框架，利用多元超几何分布的特性。基于此框架，我们提出了一系列方法，通过生成专家和模型信念的后验分布来动态估计专家共识。通过分析该后验分布，可以在询问成本和分类性能之间进行可解释的权衡。我们在两个大规模众包数据集 CIFAR-10H 和 ImageNet-16H 上，对我们的框架与多个基准模型进行了验证，证明了其有效性。

Dec, 2023

通过基于人类教学的伪边际抽样实现机器学习的普适性教学方法，成功地在主题模型上进行训练，并在电影简介数据中验证了该方法的优势。

May, 2016