Dec, 2023

精细、区别和对齐：通过样本级原型和多关系提取窃取编码器

PDF
TL;DR本文介绍了一种名为 RDA 的创新方法，旨在解决以前用于窃取预训练编码器的两个主要问题：(1) 由于优化目标偏差导致的亚优性能，以及 (2) 由于每个纪元都需要查询目标编码器而导致的查询成本升高的问题。
rdapre-trained encodersoptimization objectivesquery costsmulti-relational extraction loss
发现论文，激发创造
  • 预训练扩散概率模型中的无监督表征学习

    本文提出了一种基于现有预训练 DPM 模型的图像重建通用方法 PDAE，实现了比 Diff-AE 更好的训练效率和性能，并通过对分类器引导采样的机制填补信息缺失的空隙，使编码器对图像进行更好的重建，表现出了较高的有效性、效率和灵活性。

    Dec, 2022

  • 样本重新标记的域鉴别器再激活在对抗性域自适应中的应用

    本文提出了一种名为可强化对抗域自适应（RADA）的有效优化策略，通过使用动态域标签使领域鉴别器重新激活，使目标域样本更加可分离并进一步推动特征对齐，在多个无监督领域自适应基准上进行的广泛实验表明了我们的 RADA 的有效性和优越性。

    Mar, 2021

  • 针对对抗样本安全地微调预训练编码器

    通过采用遗传进化培育的对抗微调方法（Gen-AF），本文提出了一种两阶段的对抗微调方法，旨在增强下游模型的鲁棒性，实验证明该方法在十种自监督训练方法和六个数据集上对最先进的对抗示例具有高测试准确性和鲁棒测试准确性。

    Mar, 2024

  • RDA: 鲁棒半监督学习的互补分布对齐

    提出了一种无需超参数、适用于匹配和不匹配类分布的相互分布对齐 (RDA) 框架，使用两个分类器共同预测未标记数据上的伪标签和互补标签，从而实现这两个携带互补信息的分布互相规范化，解决了分布不匹配问题，可在半监督学习和常规匹配学习设置下的广泛情形中取得优异的表现，同时最大化了输入 - 输出的互信息。

    Aug, 2022

  • 通过嵌入对齐的查询编码器蒸馏是提升密集检索器在线效率的强大基准方法

    本文中，我们提出了一个简单的基线方法，使用不对称架构来提高 Dual Encoder 检索器的效率。我们发现即使使用只有两层的 BERT-based 查询编码器，通过无监督的蒸馏和适当的学生初始化，仍然可以在 BEIR 基准测试中保持 92.5％的 DE 性能。我们希望我们的研究可以鼓励社区重新评估方法复杂性和性能提升之间的权衡。

    Jun, 2023

  • 人脸反翻拍的双教师知识蒸馏与领域对齐

    本文提出了一种用于人脸反欺诈的领域对抗攻击方法，通过对输入图像添加扰动使其在领域间不可区分从而实现领域对齐；此外，结合领域对抗攻击与双教师知识蒸馏，开发了一种具有领域对齐的双教师知识蒸馏框架用于人脸反欺诈。在公共数据集上进行大量的消融研究和与最先进方法的比较结果验证了我们提出方法的优势。

    Jan, 2024

  • StolenEncoder 自监督学习中的预训练编码器盗窃

    本文提出了一种名为 StolenEncoder 的攻击方法，通过该方法可以以比从头开始训练更短的时间和资源窃取目标编码器，本文还探究了三种抵御此攻击的方法。

    Jan, 2022

  • RAPL：一种面向少样本文档级关系抽取的关系感知原型学习方法

    本文提出了一种关系感知的原型学习方法，通过巧妙利用关系描述和真实的任务特定的 NOTA 实例来有效地改进关系原型并生成任务特定的 NOTA 原型，实验证明该方法在两个 FSDLRE 基准测试的各种设置中比最先进的方法平均提升了 2.61% 的 F1 得分。

    Oct, 2023

  • 无法窃取？那就对抗窃取！针对图像编码器的对比窃取攻击

    本文提出 Cont-Steal 对无监督编码器的知识产权保护措施，实现对训练后的编码器的复制效果，旨在引起人们对自我监督学习技术知识产权保护的重视。

    Jan, 2022

  • 意识到类关系的对抗域自适应

    本文提出了一种新的关系感知对抗域自适应（RADA）算法，通过使用一个单一的多类域鉴别器，强制进行领域对抗训练的同时学习 inter-class 依赖关系结构，并将此结构与从源域的标签预测器中表征出的 inter-class 依赖关系对齐，证明了该方法在改善基准数据集性能方面显著提高了类关系的应用。

    May, 2019