AutoReCon:基于神经网络结构搜索的零数据压缩重建技术
本论文提出三种从训练模型中生成合成样本的方法,用于压缩和微调量化模型,不需要真实数据支持,可以用于数据敏感情况,最佳方法与原始训练样本相比具有可忽略的准确度下降,此方法利用训练模型的内在批归一化层统计信息,可用于评估数据之间的相似性,为真正的数据无损模型压缩打开了道路,并在模型部署过程中减轻了对训练数据的需求。
Dec, 2019
本文提出了一种名为 FreeREA 的算法,利用基于细胞的演化神经网络结构搜索,结合训练 - 免度量化的方式,实现了在几分钟内快速鉴别神经网络模型,同时保留模型大小和计算要求,因此能够适用于在有限资源下使用的应用。实验结果表明,FreeREA 可以在各种数据集和基准测试中优于现有的基于训练 / 免训练技术的技术,并能在约束的情况下扩展到通用神经结构搜索,从而为快速的神经结构搜索提供了一种有竞争力的解决方案。
Jun, 2022
本研究提出了一种名为 AutoMC 的自动工具,用于模型压缩,通过建立模型压缩领域的专业知识,结合历史评估信息,采用渐进式搜索策略探索 pareto 最优压缩方案,并在短时间内提供令人满意的压缩方案。
Jan, 2022
我们提出了一个神经网络模型,能够在不牺牲重建质量的情况下,显著压缩大规模科学数据,并在公开的科学基准数据集和高分辨率气候模型数据集上进行了测试,达到了 140 的压缩比和可忽略的重建误差。
Jul, 2023
提出了一种用于低测量率情况下的数据驱动非迭代算法 - ReconNet,它是一个端到端学习的深度神经网络,能够实时地将场景的测量映射到所需的图像块,并且能够在测量噪声存在的情况下产生比迭代算法更高 PSNR 值的重建结果。
Aug, 2017
使用基于重构自编码器的方法处理离群样本检测问题,通过最大化压缩自编码器的潜在空间、语义重构、数据置信度分解和归一化 L2 距离等策略有效地提高方法性能,达到了各类基准测试的最新技术水平。
Mar, 2022
本文提出了一种针对深度神经网络剪枝的数据无关的微调方法,使用合成图像进行训练,并通过中间监督来模拟未剪枝网络的输出特征图。实验结果表明,该方法相对于未剪枝模型具有具有很好的性能。
Jun, 2023
本文提出给予高压缩比摄像头的运动识别的无重建方法,通过空时粉碎滤镜提取保留在压缩测量中的非线性属性进行特征提取,并在公共数据库上进行实验,表明识别率可以与未压缩设置中的神谕方法相当。
Jan, 2015
使用对抗生成网络(GANs)代替稀疏约束来构建结构,针对重建任务进行任务感知型训练,并证明可以不使用(或少量使用)非压缩数据训练模型,最后展示 GAN 的潜空间携带有判别信息,并可进一步规范化以生成用于一般推断任务的输入特征,通过对多种重构和分类问题的实验验证方法的有效性。
Feb, 2018