Nov, 2023

黎曼流形上的高斯差分隐私

PDF
TL;DR我们在广义 Riemann 多概率下开发了一种先进的方法，该方法能够推广高斯差分隐私（GDP）到各个 Riemann 流形，通过利用几何分析中的 Bishop-Gromov 定理，我们提出了一种在带有有界 Ricci 曲率的 Riemann 多概率中整合了 Riemann 距离的 Riemann 高斯分布，实现了在这些具有曲率的多概率中的 GDP，并且不再依赖切空间中的摘要信息。我们提供了一个简单算法来评估任何一维流形上的隐私预算 μ，并且引入了一种基于马尔可夫链蒙特卡洛（MCMC）的通用算法来计算具有恒定曲率的任何 Riemann 多概率上的 μ。通过在统计学中最普遍的流形之一，单位球 $S^d$ 上的模拟，我们展示了我们的 Riemann 高斯机制相对于以前提出的用于实现 GDP 的 Riemann 拉普拉斯机制的优越效用。
gaussian differential privacyriemannian manifoldsriemannian gaussian distributionprivacy budgetmarkov chain monte carlo
发现论文，激发创造
  • 高斯差分隐私

    本文提出 $f$- 差分隐私，一种新的隐私松弛定义，避免了使用发散松弛的一些困难，并支持隐私定义的组合和代数推理。同时，作者通过介绍高斯差分隐私，一个基于测试两个移动高斯函数的 $f$- 差分隐私的单参数家族，并通过数学证明和计算机实验了演示工具，进一步完善并解决了隐私数据分析的问题。

    May, 2019

  • 深度生成模型的黎曼几何

    研究了深度生成模型所学习的流形的黎曼几何，并提出了计算测地线和沿流形路径平行传递切向量的算法，发现这些模型学习的流形近似于零曲率，并探讨了这种现象的实际影响。

    Nov, 2017

  • 嵌入流形上的测地线蒙特卡罗

    本文讨论了基于浸入流和哈密尔顿 - 雅可比表示描述的测地线流的概率密度函数流形的 Markov chain Monte Carlo 方法，并基于流形支撑下的测地线流开发了提案机制，文中用超球面和正交矩阵的 Stiefel 流形为例进行了说明。

    Jan, 2013

  • 扩展黎曼扩散模型

    基于黎曼流模型，通过改进近似方法和利用对称空间，我们能够在高维度上学习分布并得到明显改进，包括模拟非平凡流形上的 QCD 密度并对高维超球上的学习嵌入进行对比实验。

    Oct, 2023

  • 基于流形度量学习的领域自适应统一框架

    通过利用统计流形的曲率黎曼几何，我们提出了一种新的域自适应框架，该框架可以整合标记源域和未标记目标域之间的几何和统计差异，从而实现源到目标的转移。

    Apr, 2018

  • Riemann 流形上的 Matérn 高斯过程

    该论文提出了通过光谱理论在紧致黎曼流形上计算这些过程的核心的技术，从而允许使用加速训练技术训练黎曼 Matern 高斯过程，并将其更易用于机器学习实践。

    Jun, 2020

  • 通过 Langevin MCMC 在 Riemann 流形上进行高效采样

    通过几何 Langevin MCMC 从一个 Riemann 流形 M 上的 Gibbs 分布 dπ* 进行高效采样的任务，我们提出了一种在实践中可实现的算法，该算法涉及在随机高斯方向上计算指数映射。通过对几何 Euler-Murayama 方案的离散化误差进行界定，假设▽h 是 Lipschitz 的且 M 具有有界的切向曲率，我们的误差界限与欧几里得 Euler-Murayama 的误差相匹配，结合 Kendall-Cranston 耦合下的几何 Langevin 扩散的收缩保证，我们证明 Langevin MCMC 迭代在经过～O (ε^-2) 次步骤后，与 π* 之间的 Wasserstein 距离小于 ε，这与欧几里得 Langevin MCMC 的迭代复杂性相匹配。我们的结果适用于具有非凸 h 和具有负 Ricci 曲率的一般设置。在额外的假设下，即 Riemann 曲率张量具有有界导数且 π* 满足 CD (・,∞) 条件，我们分析了 Langevin MCMC 的随机梯度版本，并将其迭代复杂性限制在～O (ε^-2) 次。

    Feb, 2024

  • 黎曼流形上的随机梯度下降

    本文介绍了一种扩展随机梯度下降算法来优化在 Riemannian 流形上定义的代价函数的方法，并通过四个例子展示了其潜在的应用，其中包括派生和数字测试的一种新型的协方差矩阵的聚集算法。

    Nov, 2011

  • 黎曼流形回归的共形推断

    这项研究通过在流形上进行回归、流形统计学等探究，提出了一种在响应变量位于流形、协变量位于欧几里得空间情况下的回归预测方法，该方法基于非参数的分布自由概念，通过证明流形上经验预测区域与总体预测区域近似几乎必然收敛来展示其高效性。通过综合模拟研究和实际数据分析进行了验证。

    Oct, 2023

  • 在黎曼流形上的游戏中，无关曲率的最终迭代收敛

    该研究通过研究 Riemannian 梯度下降算法，证明了无论流形的曲率如何，只要保持测地强单调性，通过使用曲率不明感的步长，可以实现曲率无关和线性的最后一次迭代收敛率。

    Jun, 2023