研究如何在分布式网络中学习高维、非参数和结构化(如高斯)分布,并考虑不同通信模型(包括独立、顺序和黑板模型)的交互限制对于最小化风险和 Fisher 信息的影响。
Feb, 2019
本研究提出了描述在局部差分隐私限制下,统计样本的费舍尔信息如何随隐私参数 ϵ 缩放的数据处理不等式,证明了这些不等式对于所有隐私水平 ϵ>0 的高斯位置模型和离散分布估计都具有高阶匹配的平方ℓ2 误差的隐私机制和估计器。
May, 2020
本文提出了一种基于随机序列算法的最小化极限风险收敛速率的方法,其鲁棒性得到了保证, 并对于损失函数的凸度及输出分布中的噪声级别等因素,提供了紧凑的可执行上限界。
Mar, 2007
本文提出了两种启发式策略,通过动态规划建立了最优总成本的下界,研究了信息获取率和可靠性的极限,证明了第一个启发式方法的渐近最优性,同时分析了第二个启发式方法在有噪声动态搜索问题中的性能。
Mar, 2012
通过指数不等式的方法,我们研究了随机学习算法的泛化误差的界限和概率分布,针对亚高斯损失函数提供了以训练数据和输出假设之间信息密度为依据的新的界限,并将该方法扩展到了基于随机选择训练数据子集的情况。
本文回顾了贝叶斯最优实验设计的基础,并表明被称为期望信息增益或 BALD 的预测和模型参数之间的互信息以及被称为预测信息增益的获取候选和测试样本之间的互信息可以作为信息理论量的近似,提出了一种连接所谓分歧文献的统一框架。
Aug, 2022
通过特权信息的不同级别,加速从教师到学生分类器的知识传递效率并且使学生能够获得课程上的优势信息。
Oct, 2023
本文讲述了在统计学及数学心理学的多个应用中,Fisher 信息量扮演着重要的角色,并阐明了在三个统计学范式中 Fisher 信息的不同应用:第一,在频率学派范式中,Fisher 信息被用来建立假设检验和置信区间,使用最大似然估计量;第二,在贝叶斯学派范式中,Fisher 信息被用来定义默认优先级;最后,在最小描述长度范式中,Fisher 信息被用来度量模型复杂度。
May, 2017
本文使用降维算法对贝叶斯灵敏度分析中的优化问题进行了探究,结果发现贝叶斯模型在精度固定的有限采样数据的基础上依然可能出现最大可能的预测误差,且学习和稳健性是有冲突的。该研究还探讨了在使用贝叶斯推断的连续世界中是否存在缺失的稳定性条件。
Apr, 2013
我们对时间非齐次变系数随机微分方程(SDE)提供了一种 Lyapunov 收敛分析。以过阻尼、不可逆驱动和欠阻尼 Langevin 动力学为例,我们首先将 Langevin 动力学的概率转移方程表示为相对于时间相关的最优传输度量在概率空间中 Kullback-Leibler 散度的修正梯度流。我们选择一种时间相关的相对 Fisher 信息函数作为 Lyapunov 函数,并发展了一个时间相关的 Hessian 矩阵条件,从而保证了 SDE 的概率密度函数的收敛性。我们验证了几种时间非齐次 Langevin 动力学的提出条件。对于过阻尼 Langevin 动力学,我们证明了带有强凸势函数的模拟退火动力学在 L^1 距离上的 O (t^{-1/2}) 收敛性。对于不可逆驱动 Langevin 动力学,在一个渐近区域内,我们证明了对目标分布的改进收敛性。我们还验证了欠阻尼 Langevin 动力学的收敛条件。数值例子证明了时间相关 Langevin 动力学的收敛结果。
Feb, 2024