本篇论文主要关注于了解公共云中深度神经网络（DNN）训练的数据预处理流程。我们运行实验来测试使用原始数据或记录文件两种主要数据预处理方法所带来的性能影响。初步结果表明，即使使用 NVIDIA DALI 这种高度优化的数据预处理库，数据预处理仍然是明显的瓶颈。其次，我们确定了潜在的原因，采用了多种优化方法，并介绍了它们的优缺点。希望本研究可以为 “数据存储和加载管道” 与 “训练框架” 的新协同设计以及它们之间的灵活资源配置提供参考，使资源得到充分利用并提高性能。

Apr, 2023

我们提出了一种名为 DiffPrep 的方法，它可以自动且高效地搜索适用于给定表格数据集和可微分机器学习模型的数据预处理流水线，以使机器学习模型的性能达到最大化。我们将数据预处理流水线搜索问题形式化为一个双层优化问题，并通过将离散、非可微分的搜索空间转化和放松为连续、可微分的空间来高效求解，从而只需训练一次机器学习模型即可进行流水线搜索。实验结果表明 DiffPrep 在评估的 18 个真实数据集中有 15 个取得了最佳的测试准确率，并将模型的测试准确率提高了多达 6.6 个百分点。

Aug, 2023

本文提出结合协同过滤和贝叶斯优化的方法，利用概率矩阵分解和贝叶斯优化选取数据预处理方法和机器学习模型，以自动化地完成机器学习管道的选择和调整任务，实现了在多个数据集上大幅超越现有最佳方法的性能。

May, 2017

本文介绍了一个基于机器学习文本分类器的新技术管道，并应用于公共垃圾邮件语料库中，优化参数选择和改善预处理阶段中特定方法的模型表现，评估了不同评估指标，如精确度，召回率等，最终发现可在 Enron 数据集上实现 94％的 F-Score，得出关键词包括自然语言处理、垃圾邮件过滤。

Apr, 2022

本文提出一种结合机器学习和图像系统仿真的方法，自动化处理传感器数据的流程设计，以此应用于图像传感器设计及其相应的相关领域，例如消费类摄影。

May, 2016

该论文旨在弥补当前机器学习流程中，尤其是数据预处理阶段中存在的隐私保护鸿沟，该研究使用一种基于统计学方法的隐私侵犯检测框架来实验性地测量机器学习管线的隐私级别，并应用这一新创建的框架来表明针对不平衡数据的重抽样技术会导致模型泄露更多隐私，强调了需开发私有的预处理技术。

Sep, 2021

本文提出了一种元学习方法，利用先前的元数据自动搜索高性能的机器学习管道以完成模型选择和超参数优化，该方法结合自适应贝叶斯回归模型、神经网络基函数和贝叶斯优化的收获函数，能够在监督分类数据集上高效地搜索预定义的候选管道，实验结果表明，该方法在一系列测试数据集上能够快速确定高性能的机器学习管道，并胜过基线方法。

Apr, 2019

本文研究了文本预处理决策（特别是分词、词形还原、小写和多词组合）对标准神经文本分类器性能的影响，并在文本分类和情感分析这两个方面进行了广泛的评估。我们发现，虽然简单的分词通常足够，但预处理技术之间仍存在显着差异，因此这个通常被忽视的步骤很重要，特别是在比较不同模型时，最终评估提供了有关训练词嵌入的最佳预处理实践的见解。

Jul, 2017

本文探讨了在将机器学习模型整合进过程挖掘管道中所需考虑的问题，特别是数据分布的非参数性以及并发限制，提出了正确地将机器学习与过程挖掘相结合的方法学基础及在这一方向上的研究思路。

Jun, 2023

机器学习（ML）提供了强大的预测建模工具，然而，如果不正确实施和评估，ML 流程可能会出现泄漏问题，导致过于乐观的性能估计并且无法泛化到新数据，本文旨在拓展对于在设计、实施和评估 ML 流程中导致泄漏的原因的理解，以具体示例说明，提供了各种类型的泄漏的综合概述和讨论。

Nov, 2023