- 使用总变差距离的黑盒差分隐私审计
我们提出了一种实用的方法,使用一个未在训练中暴露给模型的小规模保留数据集来审计差分隐私(DP)保证。我们的方法利用得分函数(如训练期间使用的损失函数)估计使用训练数据子集和保留数据集获得的得分之间的总变差(TV)距离,在了解底层 DP 训练 - 切线微分隐私
切线差分隐私是一种新型的差分隐私,适用于特定数据分布,允许使用总变分距离和 Wasserstein 距离,并在风险最小化情况下,通过熵正则化保证切线差分隐私在风险函数的普遍条件下成立。
- 鉴别性总变差距离估计:生成数据的保真度稽核器
本文基于判别性方法提出了一种评估生成数据保真度的方法,利用总变差距离作为有效的度量。通过定量地表征两个分布分类的贝叶斯风险和它们的总变差距离的关系,实现了总变差距离的估计。特别地,本文建立了关于两个高斯分布总变差距离估计误差收敛速率的理论结 - 离散扩散模型的收敛分析:通过均一化实现精确实施
在这篇论文中,我们研究了离散扩散模型的理论特性,通过引入一个算法利用连续马尔可夫链的均匀化,在随机时间点进行转移,我们得出了关于从超立方体上的任何分布进行采样的总变异距离和 KL 散度保证。
- 最优样本本地隐私假设选择和互动的可证优势
我们研究了局部差分隐私约束下的假设选择问题,设计了一种使用较少样本的 ε- 局部差分隐私算法来选择假设,该算法的样本复杂度趋近于最优,并且通过定义关键查询的概念为统计查询算法提供了一种新的方法。
- 对比时刻:多项式时间内的无监督半空间学习
通过对未知对称一维对数凹分布的 d 维空间的 d 倍积的未知仿射变换的环境分布内带有一定间距的高维半空间的多项式时间学习算法,从一个组分分布的数据中删除至少一个 ε 分数的数据引入了半空间。值得注意的是,我们的算法不需要标签,并在这种分布假 - 学习线性分类器混合模型的 SQ 下界
学习高斯协变量下的线性分类器混合问题,主要结果是一个统计查询(SQ)下界暗示已知算法对于该问题基本上是最佳的,甚至对于均匀混合的特殊情况。
- 总变差距离估计像概率推断一样简单
通过图模型和概率推理,本论文建立了总变差距离的新连接,提出了一种有效的降维方法,实现了对有界树宽的贝叶斯网分布进行总变差距离的估计。
- 用多项式数量的样本来隐私学习高斯混合模型
在满足差分隐私的约束下,研究了估计混合高斯模型问题。通过使用新的框架,证明了高斯模型类的混合模型是可私密学习的,得到了估计混合高斯模型所需的样本数量的有界性,且不对 GMMs 作出任何结构性假设。
- 学习算法的统计不可区分性
本文讨论如何通过总变差(TV)距离度量学习规则的输出相似性,提出了 TV 不可辨认性的信息论等价性和统计学放大以及提升算法,并研究了基于 TV 不可辨认性的假设类可学习性。
- ICLR在总变差距离下调整语言生成模型
采用总变差距离 (TVD) 为目标函数以及 TaiLr 目标函数,可以改善自回归解码期间的文本退化问题,同时在各种文本生成任务中提高生成质量。
- 对抗生成模型的 PAC-Bayesian 泛化界限
本论文在 PAC-Bayesian 理论的基础上扩展了生成模型,并为基于 Wasserstein 距离和总变差距离的模型开发了广义的泛化界限,特别地,本论文提供了新的训练目标,以适用 Wasserstein GANs 和 Energy-Ba - KL 和 TV 之间不等式的简短注记
本文讨论了 Kullback-Leibler 散度与总变异距离之间的关系,探讨了 Pinsker's 不等式和 Bretagnolle 和 Huber 的不等式以及它们在最小极大测试下限的应用。
- ICML因果推理中的敏感性分析的 Hölder 界
本文使用 H"older 不等式,通过度量未观察到的混杂因子 U 对结果 Y 的影响,探究了处理 T 对结果 Y 的作用的区间估计与置信度的问题,并提出了一种基于总变异距离和条件期望值偏差的边界方法和校准策略。
- 未调整的 Hamilton 蒙特卡罗混合时间保证
该论文提出了一种上调和蒙特卡洛算法(uHMC),并提供了关于其马尔科夫链混合时间、总变差距离等指标的上限,证明了可在 log 级别的时间内实现精度为 ε 的近似目标分布,最终证明在两种模型下该算法的成功耦合可以实现这些上限。
- 非对数凹采样的随机梯度 Langevin 动力学的更快收敛
本文提供一种新的收敛分析方法,使用辅助的时间可逆 Markov 链来分析随机梯度 Langevin 动力学(SGLD)对一类难以 log-concave 优化分布进行采样的效果。在目标分布的一定条件下,我们证明了 SGLD 的收敛速度优于过 - 坐标 Hit-and-Run 的混合时间
研究了 $n$ 维凸体上的随机游走的混合时间,得到了一个多项式上界,并得出该问题一直存在的疑问,即坐标 Hit-and-Run 是否具有多项式混合时间。
- 高概率离散分布的最佳测试
研究总变差距离下的离散分布测试问题,提出可用于样本较高概率区域的属性测试的算法,包括相应参数的样本复杂度与正确性保障。
- 带受限高斯序列预言的复合对数凹采样
本文提出了一种算法来从具有复合密度的分布中采样,这些密度由具有良好条件数的 $f$ 和凸(但可能不光滑)函数 $g$ 构成,这组密度通过受限高斯 oracle 的抽象来推广限制为凸集的约束。该算法是概念上简单的,实验表明其可显著优于 hit - MM非球形混合物的异常值鲁棒聚类
本研究提出了一种新的检测离群值的高效算法,用于聚类混合的高斯模型,这种方法是鲁棒的,可以处理在数据中有少部分的失真或错误,它依赖于 TV 距离和方差有限度等假定条件,并使用极小化两种偏差的方法来修复度量误差和离群值异常。