本研究基于贝叶斯优化框架,建立高斯过程模型,通过前期实验获得的信息来优化机器学习算法的超参数调整,作者提出可以超过经验人类调参表现的自动算法,并介绍收集实验信息、利用多核心并行实验等新算法。
Jun, 2012
DP-HyPO 是一种桥接私人和非私人超参数优化方法的里程碑式框架,并提供了具有全面差分隐私分析的高效性。
Jun, 2023
提出了基于贝叶斯的差分隐私方法,并实验表明基于样本数据分布的隐私保护方法比传统方法更实用有效。
Jan, 2019
提出一种新颖的差分隐私贝叶斯假设检验框架,基于统计学中广泛采用的检验统计量的差分隐私贝叶斯因子,不需要模拟完整的数据生成过程,保持结果推理的可解释性,并提供一组足够的条件来确立在该框架下的贝叶斯因子一致性结果,通过多个数值实验证明了该技术的实用性。
Jan, 2024
本文介绍了贝叶斯优化的基本工作原理,包括高斯过程回归和三种常见的采集函数;讨论了高级技术,包括并行运行多个函数评估,多保真度和多信息源优化,多任务的贝叶斯优化,并探讨贝叶斯优化软件和未来研究方向。
Jul, 2018
本文介绍了 NeurIPS 2020 的黑盒优化挑战赛结果和洞见,强调了评估无导数优化器以调整机器学习模型的超参数的重要性,并在真实数据集上基于多个标准机器学习模型的调整性能进行了排名。
Apr, 2021
采用拟贝叶斯优化的框架,通过利用简单的局部回归和随机化先验构建来量化不确定性,并保证收敛性,有效地优化高维度的综合实验、超参数调整和机器人应用的例子中胜过最先进的基准测试。
Oct, 2023
本文提出一种差分隐私变分推理方法,该方法基于双重随机变分推理,并通过剪辑和扰动梯度来加入差分隐私,并通过子采样来增加隐私保护的效率。该方法在强隐私保证下的准确性接近于非私密级别,是以前基于抽样方法的替代品的明显改进。
Oct, 2016
该论文介绍了一种使用多任务高斯过程模型和克罗内克结构的精确采样技术的黑盒优化方法,可用于多个相关目标的优化,并可应用于涉及成千上万个相关输出的任务,从而实现了与现有方法相比较大的样本效率提高。
Jun, 2021
通过研究选择性分类器在差分隐私约束下的效果,探讨深度学习模型的可靠性及隐私泄漏问题,发现最近的一种基于现成的深度学习模型生成检查点的方法在差分隐私下更为合适,使用差分隐私不仅会降低模型的效能,而且在隐私预算降低时需要付出相当大的覆盖成本。
May, 2023