Jan, 2024

不要按按钮！探究机器学习和迁移学习中的数据泄漏风险

PDF
TL;DR这篇论文研究了机器学习中的一个关键问题 —— 数据泄漏，讨论了数据泄漏的分类，探讨了它与特定任务的关系，研究了其在迁移学习中的发生，并将传统归纳式机器学习与转导式机器学习框架进行了比较，最后强调了解决数据泄漏对于稳健可靠的机器学习应用的重要性。
machine learningdata leakageperformance evaluationtransfer learningml applications
发现论文，激发创造
  • 机器学习管道中的信息泄漏

    机器学习（ML）提供了强大的预测建模工具，然而，如果不正确实施和评估，ML 流程可能会出现泄漏问题，导致过于乐观的性能估计并且无法泛化到新数据，本文旨在拓展对于在设计、实施和评估 ML 流程中导致泄漏的原因的理解，以具体示例说明，提供了各种类型的泄漏的综合概述和讨论。

    Nov, 2023

  • 机器学习科学中的泄漏与再现危机

    通过调查 ML 方法在 17 个领域中被广泛采用的文献，我们系统地调查了 ML 方法在科学研究中的可重复性问题，并发现数据泄漏确实是一个普遍存在的问题，并提出了模型信息表来报告基于 ML 模型的科学主张，以便在发布前发现泄漏情况，并进行了模拟实验，发现所有声称复杂的 ML 模型在文献中都未能复制，并且与几十年前的 Logistic 回归模型相比，复杂的 ML 模型并没有表现出更好的效果。

    Jul, 2022

  • 一点点泄漏将毁掉一艘巨舰：从头到尾的大语言模型透明度调查

    大型语言模型存在泄漏风险，可能泄漏个人信息、侵犯版权以及评估数据集，本文通过实验调查泄漏数据比例与输出速率、检测性能之间的关系，并提出了一种自检测方法，结果显示即使训练数据中含有少量泄漏数据，大型语言模型仍能产生大量的泄漏信息，而我们的自检测方法表现优于现有的方法。

    Mar, 2024

  • 机器学习中的隐私风险：分析与过度拟合的关联

    本篇论文探讨了机器学习算法在敏感数据应用时对隐私的威胁，分析了过拟合和影响因素对攻击者从训练数据中提取信息的能力的影响，并研究了成员推断和属性推断之间的联系。

    Sep, 2017

  • 机器学习中安全与隐私科学的探索

    ML 在安全性方面存在漏洞，提出威胁模型并对攻击进行分类，探究了模型准确性与抗敌对操作的关系。

    Nov, 2016

  • 通过转换和增强不完美的训练数据实现鲁棒机器学习

    机器学习的数据敏感性和数据不完整性的研究，包括公平表示学习、对不可靠功能进行学习的问题，以及强化学习中的数据不充分覆盖问题。

    Dec, 2023

  • 提升机器学习数据隐私保护的最新方法 —— 综述

    探讨隐私保护机器学习（PPML）的兴起及其对各领域的巨大影响，强调在机器学习框架中保护隐私所面临的挑战，讨论当前研究努力，旨在最小化隐私敏感信息和增强数据处理技术，通过应用密码学方法、差分隐私和可信执行环境等隐私保护技术，保护机器学习训练数据防止隐私侵犯，尤其关注 PPML 在敏感领域中的应用及其在保护机器学习系统隐私与安全方面的关键作用。

    Feb, 2024

  • 机器学习模型中的数据更新信息泄露

    我们考虑机器学习模型在更新数据集后重新训练以获取最新信息或反映分布变化的情况。我们调查是否可以从训练数据中推断出有关这些更新的信息（例如，记录的属性值的更改）。我们提出了基于原始模型和更新模型之间预测置信度差异的攻击方法，并根据两个公共数据集和多层感知器以及逻辑回归模型验证了我们的攻击方法。我们发现模型的两个快照相对于仅访问更新后的模型而言，会导致更高的信息泄漏。此外，我们观察到罕见属性值的数据记录更容易受到攻击，这指向了更新环境下隐私攻击的不同脆弱性。当将具有相同原始属性值的多个记录更新为相同的新值时（即重复更改），攻击者更有可能正确猜测更新后的值，因为重复更改在训练模型上留下了更大的痕迹。这些观察结果表明机器学习模型在更新环境下容易受到属性推理攻击的威胁。

    Sep, 2023

  • 机器学习中隐私攻击调查

    对机器学习中隐私攻击的分类及防御方法进行了研究和探讨。

    Jul, 2020

  • 基于机器学习系统的安全性：在训练和推理期间的攻击和挑战

    对机器学习中存在的各种安全威胁、威胁模型及相关挑战进行了简要概述，利用 LeNet 和 VGGNet 对 MNIST 和 GTSRB 等基准进行了安全威胁演示，提出并解决了部分误差影响并较小的攻击方式，并阐述了开发安全措施的相关技术。

    Nov, 2018