SSLGuard：自我监督学习预训练编码器的水印方案

Jan, 2022

SSLGuard：自我监督学习预训练编码器的水印方案

SSLGuard: A Watermarking Scheme for Self-supervised Learning Pre-trained Encoders

Tianshuo Cong, Xinlei He, Yang Zhang

TL;DR本文提出了 SSLGuard—— 首个用于对预训练编码器进行水印的方案，并使用影子训练技术来保护水印免受模型盗窃等攻击。实验证明，SSLGuard 能有效地进行水印注入和验证，并对模型盗窃及其他攻击具有鲁棒性。

Abstract

self-supervised learning is an emerging machine learning paradigm. Compared to supervised learning which leverages high-quality labeled datasets, self-supervised learning relies on unlabeled datasets to pre-train

self-supervised learning pre-trained encoders copyright protection model stealing attacks watermarking

发现论文，激发创造

SSL-Auth: 自监督学习中用于预训练编码器的脆弱水印身份认证框架

本研究提出了一种 SSL-Auth 方法，用于验证预训练编码器的完整性，而不损害模型性能。该方法利用关键样本作为水印信息，并训练一个验证网络来重构水印信息，从而验证编码器的完整性。通过比较关键样本的重构结果，可以有效检测恶意修改，因为修改后的模型不应该表现出与原始模型类似的重构性能。对各种模型和不同数据集的广泛评估表明我们提出的 SSL-Auth 方法的有效性和脆弱性。

Aug, 2023

SSL-WM: 一种应用于自监督学习预训练编码器的黑盒水印方案

本文提出了一种名为 SSL-WM 的黑盒数码水印技术，可在不知道下游任务的情况下，保护自我监督学习模型，实现对恶意盗用者的追踪以及知识产权的保护。

Sep, 2022

GhostEncoder: 自监督学习中动态触发器对预训练编码器的隐蔽后门攻击

该论文介绍了一种针对计算机视觉中的自监督学习的动态隐形后门攻击方法 GhostEncoder，通过图像隐写术将隐藏信息编码到良性图像中，生成后门样本，并在操纵数据集上微调预训练图像编码器以注入后门，使得建立在被植入后门编码器的下游分类器在目标任务中继承后门行为，实现对图像的高成功率欺骗。GhostEncoder 还能抵抗包括 STRIP、STRIP-Cl 和 SSL-Cleanse 在内的最先进的防御方法。

Oct, 2023

自监督对比学习的几何理解

本文研究了自监督学习中编码器和映射器的关系，发现数据增强策略的增加会导致映射器变得更加不变，从而学习将数据投影到低维空间中，具有理论和实验结果的几何学解释。

May, 2022

自监督潜空间中的图像水印

本文提出了一种基于自监督深度网络的数字水印嵌入方法，利用数据增强技术，将水印和二进制信息嵌入网络的潜在空间中，可以处理各种分辨率，抵抗旋转、剪裁、JPEG、对比度等多种转换，该方法的性能优于前面的零比特方法，并且多比特水印的性能与端到端训练用于数字水印的编码器 - 解码器架构相当。

Dec, 2021

StolenEncoder 自监督学习中的预训练编码器盗窃

本文提出了一种名为 StolenEncoder 的攻击方法，通过该方法可以以比从头开始训练更短的时间和资源窃取目标编码器，本文还探究了三种抵御此攻击的方法。

Jan, 2022

自监督学习中的记忆提高了下游泛化

我们提出了 SSLMem，一个用于在自监督学习中定义记忆化的框架，通过对数据点及其增强视图返回的编码器之间表示的对齐差异进行比较，揭示了大规模数据集和强增强的自监督学习中存在高度记忆化的数据点，并且这种记忆化对于编码器在不同下游任务中实现更高泛化性能是必不可少的。

Jan, 2024

PreGIP: 图神经网络的预训练水印技术，用于深度知识产权保护

为了保护知识产权并保持嵌入空间的高质量，本文提出了一种名为 PreGIP 的框架，通过在预训练的 GNN 编码器中引入无需任务的水印损失函数进行水印标记，并采用抗微调的水印注入方法，理论分析和广泛实验表明了 PreGIP 在知识产权保护和维持下游任务高性能方面的有效性。

Feb, 2024

自监督学习的逆向工程

本文深入分析了自监督学习的机制以及其对表示学习的影响，揭示了自监督学习在样本聚类方面的潜在驱动作用，同时证实了该方法所训练的表示与语义类别之间存在着密切的对齐关系，并且这种对齐关系随着训练和网络深度的加深而不断增强，这对于提高自监督学习方法的性能和效果具有重要的理论和实际意义。

May, 2023

基于互信息引导的事先训练编码器后门缓解

本文提出了一种名为 MIMIC 的互信息引导的后门缓解技术，通过知识蒸馏从潜在后门编码器中提取干净的学生编码器，以减轻后门攻击并同时保持编码器性能。在自我监督学习中对两个后门攻击进行的评估表明，MIMIC 可以显著降低攻击成功率，仅利用不到 5% 的干净数据，超过七种最先进的后门缓解技术。

Jun, 2024