Jun, 2024

TabularMark：机器学习中的表格数据水印

PDF
TL;DR使用基于假设检验的水印方案 TabularMark 对表格数据进行水印处理，在保留数据实用性的同时，防止攻击者在攻击的数据集上训练有效的机器学习模型。实验结果表明，TabularMark 在可检测性、非侵入性和鲁棒性方面具有优势。
watermarkingtabular datasetsdata utilityml modelstabularmark
发现论文，激发创造
  • CodeMark：针对神经代码补全模型的隐形代码数据标记

    应对代码数据集的版权保护问题，我们提出了一种名为 CodeMark 的方法，通过自适应的语义保持转换，将用户定义的隐形水印嵌入到代码数据集中，以追踪其在训练神经网络代码完成模型中的使用。CodeMark 工具包经过广泛评估，被验证具有实际水印所需的全部属性，包括对模型准确性无害、可验证性、鲁棒性和不可察觉性。

    Aug, 2023

  • 使用干净标签后门水印保护公共数据集

    本研究提出了一种基于后门的数字水印方法，可保护公开可用的数据集免受非法使用，使用仅占数据集样本极小比例的水印样本，且不影响原有任务性能，提高了数据保护的隐蔽性和有效性。

    Mar, 2023

  • 可靠的模型数字水印技术：在保持逃避性能的同时防御盗窃

    利用扩散模型为防止未授权模型分发而合成无限制对抗样本作为触发器集合，通过知识注入而非错误记忆来促进独特的水印行为，并通过优化受保护模型的知识传递属性，无需过于猛烈的决策边界扰动即可将水印行为传递给提取替代物，从而提高对于逃避对手和水印清除攻击的鲁棒性。

    Apr, 2024

  • 基于后门水印技术的开源数据集保护

    本文提出了一种基于后门嵌入的数据集水印方法，通过数据集水印和数据集验证两个主要流程保护开源的图像分类数据集，验证了该方法的有效性。

    Oct, 2020

  • 量子纠缠数字水印抵御模型抽取攻击

    本文提出一种名为 EWE 的恒定水印嵌入技术，该技术将水印紧密嵌入到训练任务中，促使模型同时学习正常输入和此类水印，并在测试时表现优异，可实现在 100 次以下查询成功地断言模型属于自己。

    Feb, 2020

  • 通过数据水印证明 LLM 预先训练数据中的成员资格

    利用数据水印将版权持有者的作品用于 LLM 预训练进行检测，可作为一个重要的问题。我们研究了使用数据水印进行便于黑箱模型访问的有原则的检测的方法。通过应用随机抽样的数据水印，我们将检测问题构建为假设检验，从而提供了关于虚警率的保证。我们分析了水印的三个方面 —— 水印长度、复制次数和干扰，对假设检验的能力产生了影响。同时研究了水印在模型和数据集缩放下的检测力变化：虽然增加数据集规模会降低水印的检测力，但如果模型大小也增加，水印仍然具有一定的强度。最后，我们将 SHA 哈希视为自然水印，并展示了我们能够鲁棒地检测来自 BLOOM-176B 的训练数据中的哈希，只要它们出现了至少 90 次。综上，我们的结果指向了数据水印在实际应用中具有广阔前景。

    Feb, 2024

  • 不只改变标签，学习特征：使用多视角数据为深度神经网络添加水印

    使用多视图数据构建触发器集，并基于特征学习的角度引入了一种新的神经网络水印技术，名为 MAT，以有效地防御功能窃取攻击，并在各种基准测试中验证了其有效性，超过相关基线模型。

    Mar, 2024

  • 大型语言模型的水印

    本研究提出了一种基于水印技术的保护私有语言模型的框架，通过嵌入可被算法识别但人类无法察觉的信号保证模型输出的安全性，并利用解释性 p 值的统计学方法检测水印的敏感性。测试结果表明本方法对于 Open Pretrained Transformer 等大型语言模型的检测效果良好，能够提升模型的鲁棒性和安全性。

    Jan, 2023

  • 大型语言模型水印的性能权衡

    评估了在文本分类、摘要生成、翻译等任务中，嵌入水印对大语言模型的性能的影响，并发现水印对于多项选择题和短句生成基本没有影响，但对于摘要生成和翻译任务性能下降了 15-20%。这些发现凸显了用户在使用带有水印模型时应该意识到的权衡，并指出未来研究可能改善现有的权衡。

    Nov, 2023

  • ClearMark：通过转置模型训练的直观且鲁棒性强的模型水印技术

    ClearMark 是第一种设计用于直观人工评估的 DNN 水印方法，通过在模型参数中嵌入可见水印，以允许人工决策，同时允许技术辅助评估。相较于现有的水印方法，ClearMark 生成的可视化水印易于人类理解，无需复杂的验证算法或严格的阈值。水印嵌入在所有模型参数中，与主要任务交织在一起，表现出卓越的鲁棒性。ClearMark 在四个数据集和七种架构的综合研究中证明了其在不同模型和数据集上的普适性和对抗模型篡改的强韧性。

    Oct, 2023