- 基于数据驱动的回流实验:理论权衡和经验贝叶斯设计
我们研究在单个聚合单元上进行的回溯实验的设计和分析问题,推导出了误差估计依赖于交叉效应、周期性、序列相关的结果以及同步实验的影响等四个因素,并提出了三个新的设计见解,最后提出了一种基于经验贝叶斯的设计方法,并在实际数据的基础上进行了验证。
- ICML基于正则化的持续学习的统计理论
我们对基于正则化的连续学习在一系列线性回归任务中进行了统计分析,重点在于不同正则化项如何影响模型性能。我们推导了作为先验估计器的收敛速率,考虑了由矩阵值超参数索引的广义 l2 正则化算法族,包括最小范数估计器和连续岭回归作为特例。随着任务的 - 主动水平集估计的有限时间方法
我们考虑在空间采样的背景下的主动学习问题,目标是在尽快的情况下定位所有感兴趣函数超过 / 低于给定阈值的区域。我们提出了一个有限时间搜索过程,以在一维空间中执行级别集估计,同时在固定样本数量的情况下最佳地平衡估计误差和行进距离。我们使用调节 - 马尔可夫成本过程中的 VaR 和 CVaR 估计:下界和上界
估算 Markov 成本过程中的风险价值和条件风险价值的无穷时段折扣成本的误差的上下界,并讨论了覆盖更一般风险度量的估计方案扩展。
- 局部差分隐私模型中稀疏线性回归的改进分析
在本文中,我们重新考虑了局部差分隐私(LDP)模型下稀疏线性回归的问题。我们提出了一种创新的非交互式局部差分隐私(NLDP)算法,该算法在数据服从亚高斯分布的情况下,为估计误差提供了上界,并且在服务器有额外公开但未标记数据的情况下,误差上界 - 证明退火对估计归一化常数的益处:重要抽样、噪音对比估计及其它
最近的研究在模拟退火的思想基础上发展了几种蒙特卡洛方法,用于估计归一化常数(分区函数)。本文通过评估多个设计选择对于渐近估计误差的影响,提出了一种两步估计器以高效地近似最优路径。
- 注意损失调整的优先经验回放
提出一种 Attention Loss Adjusted Prioritized (ALAP) Experience Replay 算法,结合改进的 Self-Attention 网络和 Double-Sampling 机制,用于拟合超参数 - 混合成员随机块模型中的最优估计
这篇论文主要研究了重叠社区检测的问题,并提出了一种新的估计方法,以及建立了估计误差的下界。
- 使用深度 ReLU 网络进行成对学习的最优估计
本文研究深度 ReLU 网络下的成对学习,估计其多余泛化误差。通过成对最小二乘损失函数,取得近乎最优的估计上界。
- 当协变量和标签同时发生变化时,估计和解释模型性能
该文研究了机器学习模型在遇到新的用户数据时,如何估计模型的性能,提出了一种新的分布偏移模型 SJS 和算法框架 SEES,实验结果表明 SEES 在各种数据集和分布偏移情况下,相比现有方法,均能显著提高分布偏移误差的估计精度。
- KDD在结构不确定性下改进基于数据驱动的异质性处理效应估计
该研究通过开发一种考虑每个特征值对异质性治疗效果估计的特征选择方法,并从数据中学习相关部分的因果结构,为处理真实世界数据的因果结构问题提供了解决方法。研究结果表明,该方法在任意潜在因果结构下均优于现有的数据驱动异质性治疗效果估计方法,并可降 - CVPR流形正则化过渡矩阵估计下的实例相关标签噪声学习
研究了标签噪声学习问题中的转移矩阵估计,基于人类任务标注时更加倾向于将外观相似的实例标注为同一类别的心理学和生理学证据,提出了 T(x)几何形状的假设,并利用流形嵌入技术来有效地减少了其自由度并使其在实践中稳定可估计。实验结果表明,该方法在 - ICML图像以外:估计低质量特征任务的标签噪声转移矩阵
本文提出了一种信息理论方法来降低低质量特征的影响,用于识别和估计标签噪声转移矩阵,从而改进了噪声转移矩阵的估计,作者在多个任务下验证了该方法的必要性和有效性。
- 正则化很重要:关于过度参数化神经网络的非参数视角
本文研究了超参数化神经网络在存在随机噪声的情况下恢复真实目标函数的能力,证明了采用 L2 正则化的神经网络与相应的神经切线核的核岭回归输出相似,并可以实现 L2 估计误差的最佳最小值,数值实验证实了该理论,同时表明 L2 正则化方法提高了训 - 具有亚高斯速率的均值估计的快速谱算法
研究估计具有有界平均值和协方差的重尾随机向量均值的算法问题,提供了一种基于谱方法的算法来解决该问题,并且只需要计算近似特征向量,取得了最优的统计性能和更快的运行速度。
- 使用马尔科夫跳跃线性系统理论表征时序差分学习算法的确切行为
本文通过探讨强化学习中时序差分学习算法与 Markov 跳线性系统(MJLS)之间的关联,为时序差分学习算法的收敛性和稳定性提供了理论支持,并在 IID 和 Markov 噪声的两种情形下提供了 TD 学习算法收敛和表现的精确性和上下界分析 - 均匀稳定算法的高概率泛化界限,近乎最优速率
本文提出了一种新的方法来证明算法稳定性,并且在此基础上给出了关于多次随机梯度下降和正则 ERM 的高概率泛化界,同时也解决了一些之前的开放性问题。
- 基于一致稳定算法的泛化界限
提出了一种新的分析技术,证明了一些熟知算法具有更强的泛化保证,并改善了这个算法稳定性的相关细节。
- 从正样本和未标记数据中交替估算分类器和类先验
本文提出了一种新的 PU 学习方法,可同时估计类先验和训练分类器,简单易行且计算效率高,并通过实验验证了该方法的实用性。
- WRS: 实时图流中准确三角形计数的等候室采样
本文介绍了一种单次流式算法,名为 Waiting-Room Sampling (WRS),通过利用时态局部性,提出了一种新的计算全局和本地三角形计数的方法。该方法在估算误差方面比竞争对手小约 47%,且能够通过线性时间进行运行,并具有理论上