Dec, 2023

使用抗噪扩散谱熵评估神经网络训练过程中的表示

PDF
TL;DR我们通过利用数据几何形态来计算熵和互信息，从而可靠地评估高维数据中的学习过程，证明其在分类网络中的增长和影响。
entropymutual informationneural networksdata geometryclassification networks
发现论文，激发创造
  • 训练神经网络的差分熵估计器

    介绍了一种全参数化、可微分的基于核的差分熵估计器 KNIFE，可以在神经网络训练中作为正则化器，通过大量实验证明了 KNIFE 的有效性。

    Feb, 2022

  • 分布式神经网络中熵模型的弹性

    通过实验证明，熵攻击可以增加传输开销高达 95%，提出一个新的防御机制，可以将受攻击输入的传输开销减少约 9%，只有约 2% 的准确度损失，并提出该防御机制可以与对抗训练等方法结合使用以进一步提高鲁棒性。

    Mar, 2024

  • 数据高效的互信息神经估计器

    本文提出了一种基于神经网络的数据效率更高的 Mutual Information 估计方法 DEMINE，通过放松预测 MI 下限来提高数据效率，并采用任务扩充方法 Meta-DEMINE 进一步优化其推广性和估计准确性，可用于实际数据集大小的统计依赖性检测。

    May, 2019

  • 深度学习的学习函数与语义信息度量的演变综述

    本文概述了深度学习的新趋势，即利用相似性函数和信息估计函数作为学习和目标函数的相互信息神经估计和信息噪声对比估计，介绍了作者提出的语义信息 G 理论及应用在多标签学习、最大互信息分类和混合模型等方面，探讨了从 G 函数或 G 理论的角度理解语义互信息与 Shanon 互信息、混合模型、Gibbs 分布和分区函数等的关系，并提出了利用高斯信道混合模型来预训练深度神经网络潜在层的潜在机会和使用语义互信息作为增强学习的奖励函数。

    May, 2023

  • 高维平滑熵估计：基于降维技术

    研究高斯卷积下微分熵估计的样本复杂性问题，通过使用主成分分析方法解决了在数据维度指数级增长时估计微分熵的缺陷，并提出在深度神经网络中使用低维度 PCA 方法对信息流进行研究的应用，对噪声卷积神经网络的 MNIST 分类问题进行了实验验证。

    May, 2023

  • 深度神经网络模型中的熵和互信息

    本文介绍了一类采用可计算的信息理论模型的深度学习模型，探讨了该模型从启发式的统计物理方法中导出熵和互信息的方法，在该方法的基础上，设计了一种实验框架用于对生成模型进行训练，并对该模型进行验证，同时研究了本模型在学习过程中的行为，得出结论：在所提出的情况下，压缩和泛化之间的关系仍然不明确。

    May, 2018

  • 神经熵估计：一种更快的互信息估计方法

    提出了一种更快的方法，称为互信息神经熵估计（MI-NEE），其将互信息估计变为估计熵的过程，通过使用自定义参考分布和选择均匀分布作为参考分布来实现更快的收敛。

    May, 2019

  • 用于复杂网络比较的信息理论工具：光谱熵

    本文运用量子统计力学的技术来定义复杂网络的熵度量，并开发了一组基于网络谱属性的信息理论工具，可以用于最大似然估计和模型选择。通过将这个框架应用于人体微生物组的网络，我们通过层次聚类分析高精度地恢复出现有的社区关联。

    Sep, 2016

  • LSEnet: 洛仑兹结构熵神经网络用于深度图聚类

    图聚类是机器学习中的一个基本问题，本文提出了一种使用图信息理论解决未知聚类数量的图聚类问题的方法，通过最小化可微分的结构信息，构建最优的分区树，其中稠密连接的节点在图中有相同的分配，并且在 Lorentz 模型中设计了神经 LSEnet 将节点特征与结构信息集成，实验证明该方法具有优越性。

    May, 2024

  • 基于熵的深度神经网络引导加速收敛与提升性能

    通过引入基于熵的损失项，我们提出了一种新的方法来加强神经网络学习丰富的潜在数据表示，在更少的维度上收敛于更好的测试指标，并在图像压缩和图像分类的实验中展示了其有效性。

    Aug, 2023