Sep, 2023

机器学习中的一对一可区分性

PDF
TL;DR我们引入了一个新的分析框架来量化在机器学习算法的训练集中包含一些数据点之后，输出分布的变化，我们将这一概念定义为留一法区分度（LOOD）。我们使用高斯过程模型机器学习算法的随机性，并通过对会员推理攻击使用信息泄露进行广泛的实证分析验证 LOOD。我们的理论框架让我们能够研究信息泄露的原因以及泄露程度。此外，我们的方法还允许我们优化查询来揭示留一法设置中关于训练数据最重要的信息。我们演示了如何使用最优查询对训练数据进行准确的重建。
memorizationinformation leakageinfluenceactivation functionsreconstruction
发现论文，激发创造
  • 基于 OOD 训练数据的许多方法估计相同核心量的组合来分解 OD 检测

    本文旨在识别常见的目标，以及识别不同 OOD 检测方法的隐含评分函数。我们展示了许多方法在共享学习方式下表现相似，二进制区分器达到与异常暴露相似的 OOD 检测性能，还展示了置信度损失具有在理论上最优得分函数不同但与训练和测试 out-distribution 相同时的函数相似的隐含评分函数，从实践中发现，这些方法训练方式一致时都表现相似。

    Jun, 2022

  • 针对超出分布检测的可证明保障

    本文研究了如何检测机器学习模型移植到实际应用中可能出现的数据分布偏移，提出了一个以神经网络为基础的 OOD 检测方法，并结合理论与实验表现对其进行了分析与评估。

    Dec, 2021

  • 揭开潜在记忆：评估大型语言模型中的数据泄露和记忆模式

    该研究通过评估训练数据的统计特征对模型中的记忆编码产生的影响，重现了重复次数对记忆序列遗忘概率的对数标度关系，并发现即使没有后续接触，经过多次训练的数据仍然可以在训练过程中被揭示。由于这些潜在的记忆序列可能隐藏在模型的最终检查点上，这对数据隐私具有挑战性。为此，我们开发了一种通过考虑交叉熵损失来揭示这些潜在记忆序列的诊断测试。

    Jun, 2024

  • 关于外部分布检测的可学习性

    基于 PAC 学习理论，本研究探讨了超出分布检测的可学习性，给出了不同场景下学习 OOD 检测的必要和充分条件，并从理论上支持了一些 OOD 检测方法。

    Apr, 2024

  • OAML：用于 OOD 检测增强的异常值感知度量学习

    我们提出了一种名为 Outlier Aware Metric Learning (OAML) 的框架，通过 k-NN 算法和稳定扩散模型在特征级别生成用于训练的异常样本，以提高语义空间中的特征差异，并结合基于互信息的对比学习方法，有效地利用 OOD 数据进行学习。此外，我们将知识蒸馏引入学习框架，以防止内部分类准确性的降低。通过对比学习和知识蒸馏算法的结合，我们的方法在各种数据集上显著优于以前的 OE 方法。

    Jun, 2024

  • 机器学习中的记忆化

    在这项研究中，我们统一了关于机器学习中记忆化的定义和观点，讨论了它们与模型泛化的相互作用以及这些现象对数据隐私的影响，并系统化了允许从各种机器学习学习设置中检测记忆化发生或量化记忆化的方法。最后，我们讨论了记忆化在隐私攻击、差分隐私和对抗性行为者等方面的背景。

    Nov, 2023

  • 面向外部分布泛化：一项调查

    该研究论文系统而全面地讨论了 Out-of-Distribution generalization 问题，其中包括它的定义、方法论、评估以及对未来的启示和发展方向，以及包括无监督表示学习在内的现有方法。

    Aug, 2021

  • 一个用于数据质量保证中的离群检测的新的统计度量

    使用深度学习技术进行特征表示，并开发一种新的统计测量方法进行 OOD 检测。研究通过与其他常见统计测量方法进行比较分析，验证了研究在 OOD 和 AIQM 研究中的可行性和有效性。

    Oct, 2023

  • 使用退出一个样本最大对数似然目标稳定训练概率模型

    基于数据驱动方法的概率建模用于电力系统运行和规划过程，需要充足的大型数据集。本文提出一种自适应的核密度估计模型，通过分配可学习的权重给核心实现了该模型的性能改进，同时使用修正的期望最大化算法加快优化速度，并通过和高斯混合模型的比较，表明所提出的模型具有良好的性能。

    Oct, 2023

  • 机器学习模型增强攻击下的成员推断攻击

    通过成员推理攻击作为审核工具，我们提出了一个综合的假设检验框架，不仅能够以一致的方式正式表达先前的工作，还可以设计新的成员推理攻击，使用参考模型来实现任意误报率的显著更高的功率（真正的阳性率），并解释为什么不同的攻击效果不同，并最小化攻击不确定性到数据点的存在或缺失的一个比特秘密。

    Nov, 2021