基于熵的深度神经网络引导加速收敛与提升性能

Aug, 2023

基于熵的深度神经网络引导加速收敛与提升性能

Entropy-based Guidance of Deep Neural Networks for Accelerated Convergence and Improved Performance

Mackenzie J. Meni, Ryan T. White, Michael Mayo, Kevin Pilkiewicz

TL;DR通过引入基于熵的损失项，我们提出了一种新的方法来加强神经网络学习丰富的潜在数据表示，在更少的维度上收敛于更好的测试指标，并在图像压缩和图像分类的实验中展示了其有效性。

Abstract

neural networks have dramatically increased our capacity to learn from large, high-dimensional datasets across innumerable disciplines. However, their decisions are not easily interpretable, their computational costs are high, and building and training them are uncertain processes. To

neural networks entropy-based loss terms image compression image classification test metrics

发现论文，激发创造

深度神经网络的熵受限训练

该研究提出了一种神经网络压缩的通用框架，通过最小描述长度原则和熵来量化其复杂度并使用基于梯度的优化技术实现了优秀的压缩结果。

Dec, 2018

通过转移熵加速卷积神经网络的学习

将传输熵（TE）引入卷积神经网络（CNN）架构的学习机制，通过随机选取部分神经元对的信息传输，以实现计算开销与准确性之间的平衡。

Apr, 2024

深度神经网络模型中的熵和互信息

本文介绍了一类采用可计算的信息理论模型的深度学习模型，探讨了该模型从启发式的统计物理方法中导出熵和互信息的方法，在该方法的基础上，设计了一种实验框架用于对生成模型进行训练，并对该模型进行验证，同时研究了本模型在学习过程中的行为，得出结论：在所提出的情况下，压缩和泛化之间的关系仍然不明确。

May, 2018

分布式神经网络中熵模型的弹性

通过实验证明，熵攻击可以增加传输开销高达 95%，提出一个新的防御机制，可以将受攻击输入的传输开销减少约 9%，只有约 2% 的准确度损失，并提出该防御机制可以与对抗训练等方法结合使用以进一步提高鲁棒性。

Mar, 2024

基于贝叶斯熵神经网络的物理感知预测

这篇论文介绍了贝叶斯熵神经网络（BENN），它是基于最大熵原理的框架，旨在对贝叶斯神经网络（BNN）的预测施加约束，以实现不确定性量化和约束满足，实验结果表明 BENN 在各种应用中展现出明显的改进，并展示了与当代约束深度学习方法相当的竞争性能。

Jul, 2024

揭示黑匣子：用重构熵预测深度神经网络的可训练性

给定神经网络的初始条件，通过在参数空间中重建输入从相邻激活层到单层辅助网络的级联来预测深层前馈神经网络的可训练区域，从而显著降低整体训练时间，并确定信息流动与深度神经网络的可训练性之间的具体联系。

Jun, 2024

神经网络最优压缩锯齿桥

本文研究了基于神经网络的压缩器在处理集中于低维流形上的高维数据（如图像）方面的有效性，同时研究了一个连续时间随机过程的最优熵 - 失真权衡并对比了经典的 Karhunen-Loève 变换的压缩器，结果表明基于神经网络的压缩器在训练采用随机梯度下降的情况下可实现最佳性能。

Nov, 2020

探究学习系统中信息熵变化的影响

通过向输入 / 潜在特征添加噪声，探讨了熵变对深度学习系统的影响。实验结果表明，特定类型的噪声可以提升不同深度架构的性能，并通过降低信息熵来理论上证明增益，进而在大规模图像数据集上展示了显著的性能提升。

Sep, 2023

越简单越好：基于熵的重要度度量方法降低神经网络深度

提出了一种高效策略，利用大型模型传递的先前知识来减少超参数化深度神经网络的深度，从而减轻其计算负担，并在传统的图像分类设置上评估了方法的有效性。

Apr, 2024

面向卷积神经网络的广义熵稀疏化

卷积神经网络 (CNNs) 被报道为过参数化。本文提出了一种基于数学思想的逐层数据驱动剪枝方法，旨在通过最小化网络熵来找到稀疏子网络，以解决网络架构搜索的复杂性问题。该方法在多个基准测试中得到验证，并在中稀疏度达到 55%-84% 时准确度损失为 0.1%-0.5%（LeNet 模型在 MNIST 数据集上），在稀疏度达到 73%-89% 时准确度损失为 0.1%-0.5%（VGG-16 和 ResNet18 模型在 CIFAR-10 数据集上）。

Apr, 2024