利用 Sinkhorn 散度训练差分隐私生成模型

Nov, 2021

利用 Sinkhorn 散度训练差分隐私生成模型

Don't Generate Me: Training Differentially Private Generative Models with Sinkhorn Divergence

Tianshi Cao, Alex Bie, Arash Vahdat, Sanja Fidler, Karsten Kreis

TL;DR利用差分隐私训练基于最优输运的生成模型，避免了隐私数据的直接使用，并可有效控制偏差 - 方差交换，此方法能够在多个图像建模基准测试中改进现有技术并合成 RGB 图像。

Abstract

Although machine learning models trained on massive data have led to break-throughs in several areas, their deployment in privacy-sensitive domains remains limited due to restricted access to data. generative models trained with privacy constraints on private data can sidestep this cha

generative models differential privacy optimal transport sinkhorn divergence image modeling

发现论文，激发创造

使用 Sinkhorn 散度学习生成模型

本文介绍了一种使用最优输送损失的可行计算方法，通过熵平滑和自动微分来减少计算负担、提高稳定性和平滑性，获得鲁棒和可微分的最优输送损失的逼近，从而训练大规模生成模型并补充标准深度网络生成模型的计算机架构。

Jun, 2017

差分隐私深度生成模型的统一视角

利用不同隐私保护方法在深度神经网络上进行私密训练，以实现维度较高的数据生成，并提出统一的方法以提供系统性的派生方法，满足不同用例的需求，探讨不同方法之间的优势、限制和内在相关性以启发未来研究，并提出前进的潜在途径以推动隐私保护学习领域的发展。

Sep, 2023

从私有化数据中训练生成模型

本文提出了一种基于局部差分隐私的生成对抗网络训练方法，通过熵正则化 Wasserstein 距离的组合使用来降噪数据分布，有效地缓解了正则化偏差和隐私噪声效应。

Jun, 2023

基于切片瓦砾斯坦距离的非参数生成建模的差分私有梯度流

通过在概率测度空间中基于无参数梯度流的差分隐私生成建模方法，本研究提出了一种新颖的差分隐私生成建模方法，通过粒子方案运行的新离散流，利用切片 Wasserstein 距离来计算私有的漂移，实验结果显示，相比基于生成器模型，我们的模型在较低的隐私成本下能够生成更高质量的数据，是一种可行的替代方法。

Dec, 2023

利用大型语言模型生成私有合成文本

本文研究了使用敏感数据集生成新的差分隐私数据集作为替代方法，通过使用预先训练好的生成式语言模型并在敏感数据上进行私有调优，然后利用该模型可以产生差分隐私合成数据集，同时展示了训练目标及少调参数可提高合成数据的质量并与直接使用差分隐私训练下游分类器性能竞争力几乎相同，还可用于调整同一模型等级的分类器。

Jun, 2023

非平衡最优输运的 Sinkhorn 散度

本文提出了一种基于标准 Sinkhorn 更新和紧缩函数的交替迭代算法，以实现不平衡输运的熵正则化，同时证明其在所有情况下的线性收敛性，并在此基础上定义了满足几何公理的伪距离，即不平衡 Sinkhorn 散度，为正测度全空间提供了一种支持不平衡输运的新方法。

Oct, 2019

Sinkhorn 距离最小化的知识蒸馏

通过 Sinkhorn 知识蒸馏方法，克服了传统教师 - 学生模式中 Kullback-Leibler 散度的模型坍缩、反 Kullback-Leibler 散度的模型平均以及 Jensen-Shannon 散度的模型低估等问题，有效地压缩大型语言模型并在多样的自然语言处理任务中取得了优越性能。

Feb, 2024

使用正特征的线性时间 Sinkhorn 散度

本文提出使用低秩近似的 ground costs 方法来提高 Sinkhorn divergences 计算效率，并将该方法应用于训练 OT-GAN 模型。

Jun, 2020

学习差分隐私概率模型保护隐私的图像生成

本文提出一种学习差分隐私概率模型（DPPM），用于生成具有差分隐私保证的高分辨率图像，通过训练模型以适合训练数据的分布并在过程中执行随机响应机制，然后进行哈密顿动力学采样以及由训练概率模型预测的差分隐私运动方向，以获得保护隐私信息的图像，相比其他最先进的差分隐私生成方法，我们的方法可以生成高达 256x256 具有显着视觉质量和数据实用性的图像，大量实验表明我们的方法的有效性。

May, 2023

基于得分的生成神经网络用于大规模最优传输

本文提出了一种基于得分的生成模型，通过 Langevin 动态学习和采样源数据和目标数据之间的 Sinkhorn 耦合，从而解决大规模最优输运问题。

Oct, 2021