Aug, 2023

剪枝对长尾多标签医学图像分类器的影响如何？

PDF
TL;DR对于神经网络模型诊断胸部 X 光片中的胸部疾病的剪枝效果进行首次分析，发现剪枝对模型行为的影响，包括标签噪声的增加、图像质量的降低和诊断难度的增加。
pruningneural networksdiagnosischest x-raysmodel behavior
发现论文，激发创造
  • 压缩的深度神经网络遗忘了什么？

    通过对神经网络剪枝和量化技术的研究，我们发现模型容量的减少会对数据分布尾部产生不成比例的影响，这在不同图片和类别的表现上表现出明显的差异。

    Nov, 2019

  • 计算病理学中的结构模型修剪以提高推理效率

    采用模型剪枝技术在生物医学成像中有效减少推理成本，至少能压缩 70% 的模型大小而性能几乎不下降。

    Apr, 2024

  • 强健数据修剪：揭示和克服隐性偏见

    在数据密集型模型的时代，精心选择训练数据对于减轻深度学习的昂贵成本至关重要。本文通过删除冗余或无信息的样本来解决这个问题，并提出了一个公平感知的修剪方法，其在标准计算机视觉基准上展示了良好的性能，与现有算法形成鲜明对比。

    Apr, 2024

  • 塑造效率：为设备推理修剪医学图像模型

    应用机器学习进展于医疗可以改善患者结果，但是模型操作复杂性、遗留硬件和多模态千兆像素图像等问题限制了实时、设备内推理的部署。我们考虑滤波剪枝作为解决方案，在心脏病学和眼科学中探索分割模型。我们的初步结果显示最高可达 1148 倍的压缩率，质量损失最小，强调使用现成模型时应考虑任务复杂性和架构细节。在高压缩率下，滤波剪枝模型在 CPU 上比 GPU 基准具有更快的推理速度。我们还证明了这些模型的鲁棒性和泛化特性超过了基准和权重剪枝对照组。我们揭示了引人深思的问题，迈出了实现经济有效的疾病诊断、监测和预防解决方案的一步。

    Sep, 2023

  • 深度神经网络剪枝调查 —— 分类、比较、分析和建议

    现代深度神经网络中，网络压缩已成为一项重要研究方向。本文通过综述现有文献，详细介绍了深度神经网络剪枝的研究方法、剪枝的不同层次以及未来发展方向，并提出了有价值的推荐建议。

    Aug, 2023

  • 修枝视觉模型存在的偏差：深入分析与对策

    该研究系统地调查和表征神经网络剪枝在计算机视觉中引起偏差的现象，提出基于未压缩模型的易于使用的标准，以确定裁剪是否会增加偏差，并确定在压缩后最容易受到偏差预测影响的样本。

    Apr, 2023

  • 标签噪声下量化彩票：准确性，校准和复杂度

    本文介绍了一种使用稀疏双下降方法鉴定和表征与分类任务相关的剪枝模型，该方法对网络大小变化具有鲁棒性，并表明剪枝模型不仅具有更好的计算性能，而且可以更好地表示学习中的不确定性。

    Jun, 2023

  • 基于概念聚类复杂性的大规模网络数据集的有效剪枝

    利用大规模网络数据集进行训练会消耗可观的计算资源，本文研究通过修剪大规模多模态数据集来提高训练效率，并通过筛选高质量数据集以降低训练成本，从而在 ImageNet 数据集上取得了更好的性能。

    Jan, 2024

  • 动态不确定性下的大规模数据集修剪

    本文提出了一种数据集剪枝方法，利用预测不确定性和训练动态来生成一个信息量丰富的子集，从而用人口可承受的计算成本代替大规模数据集进行深度模型训练，实验结果表明该方法表现优于现有技术，对 ImageNet-1K 和 ImageNet-21K 数据集均获得了 75% 的无损压缩率。

    Jun, 2023

  • 深度神经网络压缩对长尾效应的影响研究

    本文研究在神经网络的网络压缩过程中如何保持原始网络的语义等价性，并通过对长尾现象的探讨，正向证明了全模型和压缩模型之间的差异与训练数据的记忆程度相关。

    Jun, 2023