提出了一种基于 Transformer 的新系统，用于估计稳态过程中的传递熵。通过使用注意力机制进行神经估计，该方法借助 Donsker-Vardhan 表示来估计传递熵，并与现有方法进行了比较，同时还设计了估计传递熵的优化方案。最后，该方法应用于实世界特征分析，并与深度学习方法相结合，为尚未解决的通信问题提供了新的解决途径。

Feb, 2024

本文提出了一个使用再生核希尔伯特空间中的算子直接从数据中非参数地获取熵测度的框架，并定义了类似于量子熵的熵泛函，此方法避免了估计底层概率分布。同时定义了基于核的条件熵和互信息的估计量，并在独立性测试上进行了数值实验且表现良好。

Nov, 2012

本文提出了一种基于神经网络的数据效率更高的 Mutual Information 估计方法 DEMINE，通过放松预测 MI 下限来提高数据效率，并采用任务扩充方法 Meta-DEMINE 进一步优化其推广性和估计准确性，可用于实际数据集大小的统计依赖性检测。

May, 2019

利用伪监督和一致性正则化的半监督图像分类方法，在最大化增强视图之间的互信息下限时，通过信息熵神经估计利用未标记样本的潜力，从理论上分析出图像分类器的信息熵通过最大化 softmax 预测的似然函数近似估计。在这些见解的指导下，我们从两个角度优化我们的模型，以确保预测的概率分布与真实分布紧密一致，并通过大量实验证明其卓越性能。

Apr, 2024

本文介绍了一类采用可计算的信息理论模型的深度学习模型，探讨了该模型从启发式的统计物理方法中导出熵和互信息的方法，在该方法的基础上，设计了一种实验框架用于对生成模型进行训练，并对该模型进行验证，同时研究了本模型在学习过程中的行为，得出结论：在所提出的情况下，压缩和泛化之间的关系仍然不明确。

May, 2018

本研究基于深度神经语言模型，探讨了信息熵在信息提取过程中过拟合的作用，提出了 TIER-A 联合训练框架，使用温度校准和信息熵正则化避免了过拟合，并在广泛的实验中得到了验证。

Nov, 2022

本文介绍了基于重现核希尔伯特空间中投影数据的 Hermitian 矩阵的归一化特征谱而发展起来的基于矩阵的 Renyi's alpha-entropy functional 及其多元扩展方法，拓展其使用价值并应用于卷积神经网络（CNN）中，通过发展三个量来分析卷积层表示中的协同作用和冗余，验证了两个基本的数据处理不等式，揭示了训练 CNN 的一些基本特性。

Apr, 2018

研究高斯卷积下微分熵估计的样本复杂性问题，通过使用主成分分析方法解决了在数据维度指数级增长时估计微分熵的缺陷，并提出在深度神经网络中使用低维度 PCA 方法对信息流进行研究的应用，对噪声卷积神经网络的 MNIST 分类问题进行了实验验证。

May, 2023

提出了一种基于统计的熵损失方法，通过引入空间熵，强调对分布而非个别像素值的学习，利用核密度估计以使得熵可微分，并在实验证明了其在低光增强方面的有效性。

Apr, 2024

本文提出了 RecNet 算法，用于在具有多个输入流的传感器中，通过利用输入流之间的相关信息以恢复受干扰的信息，并使用该算法在音频流受到损坏的情况下，实现了声音事件检测和定位任务中的信息恢复并降低了定位误差。

Feb, 2023