限制性反馈带来额外性能收益
本文研究神经网络超参数的调参方法及其期望准确度的提升和估计问题，并使用基于随机搜索方法和固定分布进行的超参数采样来检验估计值，发现最优的期望准确度估计仍有 1/k 的误差。
Aug, 2022
本论文探讨了基于期望最大化的简单自我训练方法 ReST$^{EM}$，在数学问题和编码基准测试中使用 PaLM-2 模型，细调模型，获得了在模型尺寸上的有利规模效应，并且明显超过仅使用人工数据的细调方法，总体而言，研究结果表明利用反馈进行自我训练可以大大减少对人工生成数据的依赖。
Dec, 2023
本文分析了预期验证性能的三个统计估计方法在计算预算方面的效果，并在合成和现实情况下对三个估计器进行评估。其中，无偏估计器具有最高方差，方差最小的估计器具有最大的偏差；最小均方误差的估计器在偏差和方差之间取得了平衡，呈现出经典的偏差 - 方差权衡。我们使用预期验证性能来比较不同模型，并分析每个估计器导致选择哪个模型表现最佳的错误数量。我们发现两个有偏估计器导致最少的错误结论，这提示了最小化方差和均方误差的重要性。
Oct, 2021
本文研究了在 performative 情境下找到接近最优点的模型的问题，该算法在找到最优解的同时还能保证低的后悔值，并通过对分布性的探索来构建风险置信度，从而建立了一种利用 bandits 算法来实现 performative 反馈下的后悔最小化的概念方法。
Feb, 2022
本文提出了一个理论框架，建模了目标人群对已部署分类器的响应，同时研究了基于重复风险最小化和一种更懒惰的方法的两个重新训练算法的收敛性，能够更好的控制已部署分类器的影响，同时探讨了不同人群获取信息和资源的差异对已部署分类器的响应影响。
Nov, 2020
通过统计性属性模型驱动的材料发现是一个迭代决策过程，在此过程中，初始数据集会根据模型所提出的新数据进行扩展，目标是随时间最大化某种 “奖励”，例如迄今为止发现的最大属性值。我们证明了此问题，并提出了一种新颖的性能估计方法，即与基于预计算数据集的 “期望改善” 收购函数预测高斯过程，在双钙钛矿氧化物的示例研究中表现最佳。
Nov, 2023
本研究探讨了模型指导方法在 PASCAL VOC 2007 和 MS COCO 2014 数据集上的有效性以及提出了一种新的能量损失方法，证实了模型指导方法可以通过正则化模型的解释，集中于正确的特征，提高模型性能。
Mar, 2023