BriefGPT.xyz
Ask
alpha
关键词
phantom clipping
搜索结果 - 2
ICML
探究差分隐私 Transformer
本文研究在差分隐私情况下使用深度学习进行 Transformer 模型训练,提出了重新注意机制和幻影剪切作为解决注意力分散现象和梯度剪切问题的方法。这不仅对于训练差分隐私 Transformer 模型提供了新的思路,也推动了差分隐私深度学习
→
PDF
a month ago
DPFormer: 针对长尾数据学习差分隐私 Transformer
本文提出了 DPFormer 模型,引入了幽灵剪辑和再关注机制以提高训练 Transformer 模型时的效率和精度,通过理论分析以及两个真实数据集的实验证明了 DPFormer 的有效性和可行性。
PDF
a year ago
Prev
Next