Nov, 2023

机器学习管道中的信息泄漏

PDF
TL;DR机器学习（ML）提供了强大的预测建模工具，然而，如果不正确实施和评估，ML 流程可能会出现泄漏问题，导致过于乐观的性能估计并且无法泛化到新数据，本文旨在拓展对于在设计、实施和评估 ML 流程中导致泄漏的原因的理解，以具体示例说明，提供了各种类型的泄漏的综合概述和讨论。
machine learningpredictive modelingml pipelinesleakagegeneralization
发现论文，激发创造
  • 机器学习科学中的泄漏与再现危机

    通过调查 ML 方法在 17 个领域中被广泛采用的文献，我们系统地调查了 ML 方法在科学研究中的可重复性问题，并发现数据泄漏确实是一个普遍存在的问题，并提出了模型信息表来报告基于 ML 模型的科学主张，以便在发布前发现泄漏情况，并进行了模拟实验，发现所有声称复杂的 ML 模型在文献中都未能复制，并且与几十年前的 Logistic 回归模型相比，复杂的 ML 模型并没有表现出更好的效果。

    Jul, 2022

  • 不要按按钮！探究机器学习和迁移学习中的数据泄漏风险

    这篇论文研究了机器学习中的一个关键问题 —— 数据泄漏，讨论了数据泄漏的分类，探讨了它与特定任务的关系，研究了其在迁移学习中的发生，并将传统归纳式机器学习与转导式机器学习框架进行了比较，最后强调了解决数据泄漏对于稳健可靠的机器学习应用的重要性。

    Jan, 2024

  • 混淆泄漏：机器学习中的混淆消除导致泄漏

    机器学习中采用的去混淆方法会产生偏差并导致误导性结果，同时本研究指出了可能存在的机制并提供了实用指导。在实际临床数据的应用中，本方法在预测多动症时，伴随着抑郁症的混淆会导致准确性被高估。

    Oct, 2022

  • 工业环境下声音事件分类：管道泄漏检测应用案例

    本文提出了一种多阶段机器学习（ML）管道泄漏检测流程，该流程通过特征选择和提取基于时间的特征等多个步骤处理复杂嘈杂环境数据，将结果送入适用于数据量大幅降低和复杂度较低的支持向量机（SVM），在包含噪声和泄漏的数据集上取得了 99％的准确率和 0.93 和 0.9 的 F1-score。

    May, 2022

  • 通过机器学习估算 g-Leakage

    本文提出了一种新的机器学习方法，用于在系统的 Black-Box 情况下评估 g-vulnerability 的信息泄漏，无需估计条件概率，适用于大多数机器学习算法，并在 k - 近邻和神经网络上的结果优于频率学派方法。

    May, 2020

  • 一点点泄漏将毁掉一艘巨舰：从头到尾的大语言模型透明度调查

    大型语言模型存在泄漏风险，可能泄漏个人信息、侵犯版权以及评估数据集，本文通过实验调查泄漏数据比例与输出速率、检测性能之间的关系，并提出了一种自检测方法，结果显示即使训练数据中含有少量泄漏数据，大型语言模型仍能产生大量的泄漏信息，而我们的自检测方法表现优于现有的方法。

    Mar, 2024

  • 多方机器学习中数据集属性泄露

    该研究确认了安全多方机器学习会导致数据的属性泄露，包括敏感属性和整个数据集的属性，即使敏感属性未被训练，说明存在相关模型。

    Jun, 2020

  • 揭开机器学习驱动科学中的过度乐观和出版偏见

    通过研究机器学习中的数据泄露和出版偏见等因素，本研究提出了一种新颖的随机模型来估计真实准确性，并纠正了过度乐观的诊断结果，从而提供了更真实的机器学习性能评估。

    May, 2024

  • 大型语言模型中基准测试的基准泄露

    利用简单且可扩展的 Perplexity 和 N-gram 精度两个度量指标来检测潜在数据泄漏，揭示了大规模语言模型在数学推理领域存在的数据误用问题，并提出了关于模型文档、基准设置和未来评估的几点建议，其中包括提出 “基准透明卡” 以促进透明度和语言模型的健康发展。

    Apr, 2024

  • 利用物理信息机器学习来估计非规则的用水需求以帮助泄漏检测

    该研究论文介绍了一种利用物理知识驱动的机器学习算法，通过分析压力数据来估计未知的水需求，最终利用伯努利方程并线性化泄漏检测问题。该算法在 L-Town 基准网络的数据上进行了测试，结果显示其在估计大多数不规则需求方面具有较好的能力，R2 大于 0.8；与不考虑不规则需求的结果相比，对于突发泄漏和潜在泄漏情况下的泄漏识别结果分别提高了 5.3 倍和 3.0 倍。

    Sep, 2023