自适应推断:理论限制和未开发的机会
本文研究了如何更有效地训练具有多个中间分类器的自适应深度网络,提出了梯度均衡算法,内联子网络协作方法和一对所有知识蒸馏算法等三种方法,以改进分类器协作并进一步提高自适应性深度网络的效率。在 CIFAR-10,CIFAR-100 和 ImageNet 等多个数据集上展示了该方法相对于现有技术的改进效果。
Aug, 2019
本文说明自适应计算对于学习不同难度样例所需推断步骤的有效性,且学习正确推断步数是困难的;还介绍了首个涉及自适应计算时间的模型,不仅在与没有自适应部分的类似模型相比性能更佳,还能深入理解模型的推理过程。
Oct, 2016
数据重复使用中存在过拟合和统计结果的有效性方面的挑战。过去的研究表明,通过不同 ially private 算法与数据交互可以减轻过拟合,实现最坏情况下的泛化保证,并具有渐近最佳的数据要求。然而,之前的工作假设数据是静态的,无法适应数据随时间增长的情况。本文填补了这一空白,提出了自适应分析在动态数据环境中的第一个泛化界限。我们允许分析人员根据当前数据大小以及先前的查询和响应进行自适应调度。我们还结合了时间变化的经验准确性界限和机制,使数据积累时能够提供更紧密的保证。在批量查询设置中,我们的界限的渐近数据要求随自适应查询数量的平方根增长,与之前的工作改善静态设置中的数据分割相匹配。我们通过采用裁剪高斯机制实例化我们的界限,并在经验上优于由静态界限组成的基线。
May, 2024
通过建立合适的性能度量标准的基准,我们评估了一些最新的利用神经网络和经典近似贝叶斯计算方法的方法,发现性能度量的选择关键,即使是最先进的算法也有很大的改进空间,顺序估计提高了样本效率,神经网络方法通常表现更好,但没有均匀的最佳算法。
Jan, 2021
关于如何在自适应数据分析中保证统计推断的有效性的研究,使用隐私保护技术协调估计值,并在估计指数数量的期望时取得了指数级的改进,适用于多重假设检验和虚假发现率控制。
Nov, 2014
本文提出一种正式的框架,介绍了衡量概率和合作信息传递有效性的新指标,证明了能够实现最佳合作推理的条件,并展示了这些原则如何指导机器学习算法的设计以及对人类和机器学习的影响。
May, 2017
该论文提出了一种普遍框架,用于研究在线学习框架下的自适应遗憾界限,包括模型选择界限和数据相关界限;该框架基于顺序复杂度量的修正,并使用单侧尾不等式来界定此界限,并在线性优化和在线 PAC-Bayes 定理中进行了实例化。
Aug, 2015
通过自适应选取深度神经网络组件或网络进行评估,可以在不损失准确性的情况下,显著减少计算时间,例如在 ImageNet 图像识别挑战中,最多可加速 2.8 倍,并且仅有最高 5 个命中率的轻微损失。
Feb, 2017