Jun, 2022

基于遮蔽语言建模的可逆文本数据隐藏通用框架

PDF
TL;DR本文提出了一个基于掩蔽语言模型的通用框架，将秘密信息嵌入给定的覆盖文本中，嵌入的信息和原始覆盖文本可以从标记文本中完美地恢复。实验结果表明，所提出的方法具有良好的安全性和语义质量，可应用于许多领域，包括信息隐藏和自然语言处理。
information hidingcovert embeddingmasked language modelsecuritynatural language processing
发现论文，激发创造
  • 利用大型语言模型从隐私保护掩码中恢复

    使用大型语言模型，本研究探索了替代标记符的可行性，以保护用户隐私，分析了不同方法的实验结果，在下游语言建模任务中实现了与原始数据训练相媲美的性能。

    Sep, 2023

  • 基于掩码语言模型的令人沮丧的基于编辑的语言隐写术

    本文提出了一种基于掩码语言模型的语言隐写术，它克服了传统编辑方法的繁琐规则构建，并具有更高的负载能力和更好的安全性能。此方法比生成方法更易于控制安全性和负载能力之间的权衡。

    Apr, 2021

  • 语言理解任务中的数据隐私问题

    本研究提出了一种名为 TextHide 的方法，它可以在不影响训练效率或准确性的情况下有效地减少分布式或联邦学习中的隐私风险，通过简单地添加加密步骤来防止窃听攻击者恢复私人文本数据，该方法能够与预训练语言模型的微调框架很好地契合，并在 GLUE 基准测试中取得了良好的效果，可以有效抵御共享梯度和表示的攻击，并仅平均准确率降低了 1.9%。

    Oct, 2020

  • 很抱歉，先生？您的语言模型正在泄露（信息）

    使用加密方法在大型语言模型的回应中隐藏任意秘密负载，需要秘密密钥提取模型回应中的负载，负载不会影响生成文本的质量，扩展了 Christ、Gunn 和 Zamir（2023 年）引入的大型语言模型不可检测的水印方案。

    Jan, 2024

  • 基于马尔科夫模型和霍夫曼编码自动生成隐写文本

    本文提出了一种基于马尔可夫链模型和哈夫曼编码的隐写术方法，它可以自动生成流畅的文本承载，该模型可以从大量的样本中学习并获得良好的统计语言模型，实验结果表明，该模型的性能优于所有以前相关方法。

    Nov, 2018

  • 自然语言系统中的信息隐藏

    本文探讨了在自然语言系统中执行信息隐藏作为实现数据安全和保密的一种手段的自然语言隐写术（NLS）方法，提出了应对隐写文字质量等挑战的改进，以便构建更具弹性的 NLS 模型，并实现自然语言整合安全性的目标。

    Mar, 2022

  • 基于生成模型的无覆盖信息隐藏

    本文提出了一种基于生成模型的无盖信息隐藏方法。相对于传统的图像隐写术，该方法传输的图像不嵌入任何秘密信息，因此能有效抵抗隐写分析工具，具有较高的信息容量、安全性和可靠性。

    Feb, 2018

  • DP-MLM：使用掩膜语言模型的差分隐私文本重写

    基于掩码语言模型（MLMs），提出了一种新的基于差异隐私的文本重写方法 DP-MLM，能够在语义相似且混淆的方式下重写文本，对于保护隐私提供更好的实用性，并具有更大的重写机制定制化能力。

    Jun, 2024

  • Text Revealer: 通过模型反演攻击对 Transformers 进行私密文本重建

    本文提出了一种名为 Text Revealer 的模型反演攻击方法，可有效重建训练数据中的私密文本，研究表明该方法对不同文本长度的数据集均有效。

    Sep, 2022

  • 基于 BERT 和一致性编码的自回归语言隐写

    本文介绍了一种基于 BERT 和一致性编码的自回归语言隐写算法，通过使用一致性编码来弥补块编码的缺点，并通过自回归方式填充掩码位置以提高文本质量，从而取得更好的嵌入负载和系统安全之间的平衡。实验结果表明，相对于相关工作，所提出的工作提高了隐写文本的流畅度，同时保证了安全性，并在一定程度上增加了嵌入负载。

    Mar, 2022