本篇论文主要关注于了解公共云中深度神经网络（DNN）训练的数据预处理流程。我们运行实验来测试使用原始数据或记录文件两种主要数据预处理方法所带来的性能影响。初步结果表明，即使使用 NVIDIA DALI 这种高度优化的数据预处理库，数据预处理仍然是明显的瓶颈。其次，我们确定了潜在的原因，采用了多种优化方法，并介绍了它们的优缺点。希望本研究可以为 “数据存储和加载管道” 与 “训练框架” 的新协同设计以及它们之间的灵活资源配置提供参考，使资源得到充分利用并提高性能。

Apr, 2023

提出 EDA 方法来增强文本分类任务的性能，包括四种简单但强大的数据增强操作：同义词替换、随机插入、随机交换和随机删除，在五个文本分类任务中，展示了 EDA 对于卷积神经网络和循环神经网络性能提升的效果。EDA 特别适用于小型数据集。使用 EDA 方法在 50％可用的训练集上训练时，平均而言可以达到使用全部数据正常训练的准确性水平。此外，还进行了大量消融研究，并提供了实际使用的参数建议。

Jan, 2019

本文提出了一种称为自适应批量归一化（AdaBN）的方法来提高深度神经网络的泛化能力，无需额外组件或参数，并证明其在领域适应任务和现有方法相结合时具有卓越的性能表现。

Mar, 2016

该论文提出了一种可以在数据流分析中自适应构建去噪自编码器 DEVDAN，并以单次学习为基础的方法，通过网络重要性估计来自动添加或修剪输入特征，从而提高分类精度并适应不断变化的环境。

Sep, 2018

本文介绍了一种基于自回归深度学习模型和有条件归一化流模型的多元时序动态建模方法，该方法通过建模统计依赖关系来提高精度和分析交互效应。实验结果表明，该方法在多个实际数据集上比现有技术表现更好。

Feb, 2020

本文提出了基于深度变换网络的异常检测和诊断模型 ——TranAD。该模型采用基于注意力的序列编码器进行推断，能够快速、准确地确定异常观测值，并采用聚焦得分自制约和对抗训练等方法提高特征提取和模型稳定性。实验结果表明，TranAD 在数据和时间效率上优于现有的基准方法。

Jan, 2022

本文提出了一种新的方法，允许终端用户在不修改模型的情况下，在其自己的测试环境中利用预训练的深度神经网络模型，通过提出一种元输入方法，将测试数据的分布转换为与训练数据的分布相一致，从而解决深度神经网络模型在真实世界应用中的环境差异问题。

Oct, 2022

我们介绍了 EINNs，这是一个基于机械模型提供的理论基础和人工智能模型提供的数据驱动的表达能力，以及摄入异构信息的能力，用于流行病预测的框架。通过物理 - 信息神经网络的工作来学习潜在的流行病动态并将相关知识转移给另一个神经网络，这个网络摄入多个数据源，并具有更适当的归纳偏差。我们的全面实验表明，与其他非平凡的选择相比，在 COVID-19 和流感预测的所有美国州和 HHS 地区都展示了我们方法的明显优势。

Feb, 2022

该研究介绍了一种新的深度神经网络架构并提出了一种新的方法来准备金融数据以便于它们被馈入该模型，以预测股票和加密货币市场的价格波动。研究表明，该框架可以提供有利可图和稳健的预测，并引入一个交易策略来利用训练模型的输出。

May, 2022

本文针对输入数据管道对训练 DNN 模型的影响展开研究，使用 DS-Analyzer 工具精确测量数据阻塞时间，提出 CoorDL 数据加载库来缓解数据阻塞问题，并在多个 DNN 模型、数据集、硬件配置上进行验证，结果显示相对于 DALI 数据加载库，使用 CoorDL 数据加载库可以显著降低 DNN 训练时间。

Jul, 2020