ACLJun, 2024

DP-MLM：使用掩膜语言模型的差分隐私文本重写

PDF
TL;DR基于掩码语言模型（MLMs），提出了一种新的基于差异隐私的文本重写方法 DP-MLM，能够在语义相似且混淆的方式下重写文本，对于保护隐私提供更好的实用性，并具有更大的重写机制定制化能力。
text privatizationdifferential privacytext rewritingdp-mlmmasked language models
发现论文，激发创造
  • 通过合成文本生成实现差分隐私知识蒸馏

    利用差分隐私的知识蒸馏算法，通过利用合成数据和教师模型的输出分布，成功地在压缩自回归型大型语言模型的同时保护训练数据的隐私。

    Mar, 2024

  • 大语言模型中的差分隐私解码

    本文提出了一种简单易行、计算轻量化的扰动机制，保证了模型的隐私性，在不影响模型实用性的情况下，可应用于所有 LLM 模型，解决了 LLM 在隐私保护与重新训练之间的折中问题。

    May, 2022

  • 再简化一遍：为差分隐私重写文本提升语义相似度和隐私保护的后处理方法

    基于差分隐私的文本重写方法，通过对重写后的文本再次进行重写，提高了在经验隐私评估中的保护性能，并为恶意对手提供了额外的保护层。

    May, 2024

  • 安全数据共享的差分隐私语言模型

    使用全局差分隐私的方法，通过训练生成式语言模型并从中采样数据来保护数据分享者的隐私，并通过新的匹配损失设计自然语言提示，得出高质量的文本数据集，这些数据集不仅不会泄露原始数据的信息，而且还适合训练用于分析真实世界数据的模型，同样证明基于私有合成数据训练分类器的性能优于直接基于真实数据使用 DP-SGD 进行训练。

    Oct, 2022

  • 利用大型语言模型从隐私保护掩码中恢复

    使用大型语言模型，本研究探索了替代标记符的可行性，以保护用户隐私，分析了不同方法的实验结果，在下游语言建模任务中实现了与原始数据训练相媲美的性能。

    Sep, 2023

  • 视觉语言领域数据效率掩码语言建模

    本文研究在跨模态预训练中使用遮蔽语言建模（Masked Language Modeling，简称 MLM）的一些问题，提出了一些针对这些问题的替代遮蔽策略，在 LXMERT 模型预训练时，我们的替代策略始终优于原始遮蔽策略，特别是在低资源设置下，我们的预训练方法显著优于基准模型，并且通过对影像对象的特定标记任务的评估，我们的结果和分析表明，该方法允许更好地利用训练数据。

    Sep, 2021

  • 探索文本生成的屏蔽语言建模和因果语言建模

    这篇论文比较了掩码语言模型和因果语言模型在文本生成任务上的表现，发现掩码语言模型在生成文本时具有更好的质量和连贯性，并且对下游任务的性能没有明显影响，从而显示了掩码语言模型在文本生成方面具有巨大的潜力并指导了未来研究的方向。

    May, 2024

  • UniLMv2：伪掩码统一语言模型预训练

    本文提出了一种称为 Pseudo-Masked Language Model（PMLM）的新训练程序，用于预训练统一的语言模型以处理自动编码和部分自回归语言建模任务，并通过自我注意力掩码和位置嵌入来避免冗余计算，在自然语言理解和生成任务方面取得了新的最先进的结果。

    Feb, 2020

  • DP-Rewrite: 差分隐私文本重写的可重复性和透明度

    通过 DP 实现文本重写，为保护文本中个人隐私提供具体理论保障；为了解决现有系统的透明性和可重现性问题，提出 DP-Rewrite—— 一个开源、模块化、可扩展、高度定制化的框架，可提供不同的数据集、模型、专家预训练过程和评价指标等，实现了私密文本重写的前沿研究。以 ADePT DP 文本重写系统为案例，提供了一系列实验，检测其预训练方法中的隐私泄露问题。

    Aug, 2022

  • 差分隐私语言模型受益于公共预训练

    通过微调基于公共语料库的模型来实现高质量和隐私保护的语言模型，提高私有领域的模型性能，让其成为可能。

    Sep, 2020