Mar, 2024

可持续深度学习的数据减少方法深入分析

PDF
TL;DR深度学习方面的研究，介绍了八种不同的数据减少方法和一个基于拓扑结构的代表性度量标准，探讨了这些方法对数据集的代表性、能源消耗和模型预测性能的影响。
deep learningdata reductionenergy consumptionrepresentativeness metricpredictive performance
发现论文，激发创造
  • 绿色深度学习调查

    本文系统地回顾了 Green deep learning 技术的发展，将这些方法分类为紧凑网络、节能训练策略、节能推理方法和高效数据使用四个类别，讨论了已经实现的进展和未解决的挑战。

    Nov, 2021

  • 深度学习中的数据优化：一项调查

    通过对现有文献中的数据优化方法进行分类整理和建立联系，本研究旨在构建一个全面的深度学习数据优化方法分类体系，并探索未来的研究方向。

    Oct, 2023

  • 高效深度学习：关于使深度学习模型更小、更快、更好的调查

    介绍了深度学习效率问题和五个核心领域，包括建模技术、基础设施和硬件，并提出实验指南和代码，为实践者优化模型培训和部署提供支持。这是第一个详尽的调查，涵盖了从建模技术到硬件支持的模型效率领域，帮助实践者实现改进并装备他们以进行进一步的研究和实验。

    Jun, 2021

  • 通过数据选择探索实世界图像分类中的数据冗余

    提出了两种基于神经突触智能和梯度范数的数据估值指标，通过在线聚类和基于考察数据值的分组提出了新的数据选择算法。在线方法使用逐层模型参数更新和每个时期梯度高效地评估数据，可以使用更少的时期和数据子集（例如，19％-59％）加速模型训练，同时在各种数据集中保持等价的水平，还可以扩展到离线 Coreset 构建，只生成原始数据的 18％-30％子集。

    Jun, 2023

  • 图像分类数据集中的语义冗余：你不需要的 10%

    研究发现，对于常见的基准数据集，可以找到可推广的子集，该子集在训练时与完整数据集相当。此结果可以发现 CIFAR-10 和 ImageNet 数据集中的显着冗余（至少 10％），并且观察到所需图片和多余图片之间存在语义相关性，这可以鼓舞进一步研究以提高训练效率或数据收集。

    Jan, 2019

  • 关于精简数据集的多样性和真实性：一种高效的数据集精简范式

    用于大规模真实数据集的数据集压缩方法 RDED 能够在短短 7 分钟内将完整的 ImageNet-1K 压缩为每类只有 10 张图像的小型数据集，并在单个 RTX-4090 GPU 上以 42% 的 Top-1 精度实现了显著的性能提升（而目前最先进方法仅达到 21% 的精度，且需要 6 小时）。

    Dec, 2023

  • 深度学习在表格数据上的研究

    通过一个全面的基准测试，本文研究了深度表格方法和基于树的方法在各种任务类型、大小分布和领域中的性能排名以及影响深度表格方法成功的关键因素，并提取了对预测准确性起决定性作用的元特征。这些研究将进一步促进表格数据的研究。

    Jul, 2024

  • 神经网络结构训练的能效：一项实证研究

    本文通过使用深度卷积神经网络的实证研究，研究了深度学习模型的体系结构与其环境影响之间的关系，重点关注能源消耗和二氧化碳排放等方面的交易，并探讨了精度和能源效率之间的权衡，以及使用软件和硬件工具测量能量消耗的差异。

    Feb, 2023

  • 在资源受限环境中运行关键的机器学习模型

    研究表明，机器学习（尤其是深度学习）发展的加速，是医学影像分析和计算机辅助干预领域取得突破的原因。然而，深度学习模型需要大量的训练数据、计算和能源成本，这是在临床部署这些模型时要克服的障碍。为了解决这个问题，机器学习社区正在努力引入资源效率概念，以减轻内存使用量等问题。本文通过探究模型资源消耗和性能之间的平衡，特别是在诊所等重要场景中使用的模型中，展示了这些方法在减少资源利用方面的有效性和性能方面的成本。

    Mar, 2023

  • 使用数据增强、Focal Cosine Loss 和集合方法进行图像分类的高效深度学习方法

    为提高深度学习模型的性能和泛化能力，本论文提出了数据、损失函数和预测等三个方面的技术，以有效地利用小数据集进行训练。通过利用仅包含每类 50 张图像的 ImageNet 数据，我们取得了高准确率，并在 “数据有效计算机视觉挑战” 中排名第四。

    Jul, 2020