本文提出了一种信息论方法：通过用 softmax 交叉熵优化分类神经网络的参数，来最大化假设数据平衡下输入和标签之间的互信息，并通过在基于差异信息的 informativeness class activation map 中突出显示输入图像中与给定标签相关性最高的区域来帮助定位目标对象，并通过使用两个真实世界数据集上半监督目标定位任务的实验来评估我们信息理论方法的有效性。

Nov, 2019

本文提出了一种使用交叉熵和 softmax 作为互信息评估器的神经网络分类器的新视角，并且在数据集不平衡时，开发了一种新的 softmax 形式，该形式可以将分类器转换为互信息评估器。实验结果表明，该形式可以提高分类准确性，特别是对于不平衡的数据集。

Jun, 2021

通过理论分析，该研究证明了交叉熵与多个已知的成对损失之间的关系，并提出将交叉熵最小化作为近似边界优化算法，从而避免了成对样本采集等复杂的优化技巧。研究通过在四个标准的深度度量学习基准测试中获得最新的结果，超越了最近和复杂的 DML 方法。

Mar, 2020

本文介绍了一类采用可计算的信息理论模型的深度学习模型，探讨了该模型从启发式的统计物理方法中导出熵和互信息的方法，在该方法的基础上，设计了一种实验框架用于对生成模型进行训练，并对该模型进行验证，同时研究了本模型在学习过程中的行为，得出结论：在所提出的情况下，压缩和泛化之间的关系仍然不明确。

May, 2018

本文提出了一种概率表示方法，用于准确估计深度神经网络的互信息，并利用估计器验证了信息理论对泛化的解释，得出了比现有方法更紧密的泛化界限。

Jun, 2021

通过引入条件互信息（CMI）和归一化条件互信息（NCMI）的概念，以测量分类深度神经网络（DNN）在 DNN 的输出概率分布空间中的聚集和分离性能，其中 CMI 和 CMI 与 NCMI 之间的比率分别表示 DNN 的类内聚集和类间分离。通过使用 NCMI 来评估在文献中在 ImageNet 上预训练的流行 DNNs，在 ImageNet 验证数据集上的验证准确率与其 NCMI 值或多或少成反比的关系得出。基于这一观察，还对标准深度学习（DL）框架进行了修改，以在 NCMI 约束条件下最小化标准交叉熵函数，从而得到了 CMI 约束深度学习（CMIC-DL）。提出了一种新颖的交替学习算法来解决这种约束优化问题。大量实验结果显示，在 CMIC-DL 中训练的 DNN 在准确性和对抗性攻击的鲁棒性方面，优于标准 DL 和文献中其他损失函数训练的最先进模型。此外，还提倡通过 CMI 和 NCMI 的演变来可视化学习过程。

Sep, 2023

对比学习通过互信息分析的深入研究，引入了三种新方法和一些相关定理，以增强互信息分析的严谨性，并通过重新评估对比学习分析的三个实例，展示了它们在加深理解或纠正误解方面的能力。

Aug, 2023

利用伪监督和一致性正则化的半监督图像分类方法，在最大化增强视图之间的互信息下限时，通过信息熵神经估计利用未标记样本的潜力，从理论上分析出图像分类器的信息熵通过最大化 softmax 预测的似然函数近似估计。在这些见解的指导下，我们从两个角度优化我们的模型，以确保预测的概率分布与真实分布紧密一致，并通过大量实验证明其卓越性能。

Apr, 2024

利用互信息作为无监督学习中一种重要的度量方式，设计一种基于编码器 — 判别器结构的音频信号 SincNet 编码器，通过最大化采样自同一句子块的编码表示之间的互信息来学习音频信号中说话者的特征表达，可成功地实现有效的说话者识别和验证任务。

Dec, 2018

本论文探讨了基于对比学习的图像表示学习方法，提出了一种最大化互信息的下界的目标函数，并在实验中发现选择难度更大的负样本以及视角可以提高算法性能。通过比较多种学习方法，研究结果表明，基于互信息的目标函数可以使得算法在分类、边界框检测、实例分割和关键点检测等任务上获得更好的表现。

May, 2020