反升级和泛化:一项调查
这篇论文是对近年来领域泛化(即在一个或多个不同但相关的领域中学习出可以推广到看不见的测试领域的模型)领域的最新进展的首次回顾,涵盖了相关的理论、算法、数据集、应用,并提出了未来的研究方向。
Mar, 2021
近年来,联邦学习作为一种分布式机器学习范式备受关注。为了促进被遗忘权的实施,联邦机器遗忘(FMU)的概念也应运而生。然而,目前的 FMU 方法往往涉及额外的耗时步骤,并且可能无法提供全面的遗忘能力,这使得它们在真实的联邦学习场景中不太实用。在本文中,我们介绍了 FedAU,这是一个创新而高效的 FMU 框架,旨在克服这些限制。具体而言,FedAU 将一个轻量级辅助遗忘模块集成到学习过程中,并采用直观的线性操作来促进遗忘。这种方法消除了额外的耗时步骤的需求,使其非常适合联邦学习。此外,FedAU 表现出了卓越的多功能性。它不仅可以使多个客户端同时执行遗忘任务,还支持以不同粒度进行遗忘,包括个体数据样本、特定类别,甚至在客户端级别进行遗忘。我们在 MNIST、CIFAR10 和 CIFAR100 数据集上进行了大量实验,评估了 FedAU 的性能。结果表明,FedAU 在保持模型准确性的同时有效地实现了所需的遗忘效果。
May, 2024
本文使用 KGA 框架,提出了一种文本数据应用的反学习方法,用于解决在 “被遗忘权” 立法中隐私泄露和训练信息保护的问题,实验结果表明 KGA 比基线方法更为有效。
May, 2023
该论文综述了机器取消学习的最新技术和方法,包括数据删除、扰动和模型更新,并强调了训练数据、资源限制和攻击复杂性等需要解决的挑战。此外,该论文强调了机器取消学习在自然语言处理、计算机视觉和推荐系统中的潜在益处和未来方向,并强调了研究人员和从业者继续探索和完善取消学习技术以确保机器学习模型能够适应不断变化的情况,同时保持用户信任,特别是在涉及大量个人用户数据的各个领域中。
May, 2023
机器去学习是一个新兴领域,通过对现代人工智能模型的隐私保护需求的迫切性推动。这项技术主要旨在从神经模型的训练中消除特定数据子集的任何残留影响。该研究介绍了一种新颖的去学习算法,称为基于距离的质心运动的去学习(DUCK),它采用度量学习来引导嵌入空间中与最近的错误质心相匹配的样本的移除。通过在两个不同的场景下对多个基准数据集进行算法性能评估,包括类别移除和同质采样移除,获得了最先进的性能。我们引入了一种称为自适应去学习分数(AUS)的新指标,不仅涵盖了对目标数据遗忘的去学习过程的功效,还量化了相对于原始模型的性能损失。此外,我们提出了一种新颖的成员推理攻击方法,以评估该算法清除先前获取的知识的能力,并设计成适应未来的方法论。
Dec, 2023
本文探讨了无监督学习发现特征以提高预测模型泛化性能的潜力,并利用视频序列预测方块塔的稳定性,展示了模型训练得出的特征能够支持对超出训练集分布的方块配置进行稳定性预测。
Dec, 2016
本篇论文介绍了一种创新的数据保护方法,通过生成可转移的数据遗忘样本,从数据分布的角度考虑数据隐私问题,经过广泛实验证实了该方法的优越性能和保护能力。
May, 2023