本文提出了一种信息论方法：通过用 softmax 交叉熵优化分类神经网络的参数，来最大化假设数据平衡下输入和标签之间的互信息，并通过在基于差异信息的 informativeness class activation map 中突出显示输入图像中与给定标签相关性最高的区域来帮助定位目标对象，并通过使用两个真实世界数据集上半监督目标定位任务的实验来评估我们信息理论方法的有效性。

Nov, 2019

本文用互信息作为代替条件熵来训练深度神经网络分类器，并且在多个基准数据集上进行了实验证明，相对于现有交叉熵损失函数训练的模型，提出的互信息模型 (MILCs) 性能更好，总体测试准确率提升超过 10%。

Oct, 2022

通过理论分析，该研究证明了交叉熵与多个已知的成对损失之间的关系，并提出将交叉熵最小化作为近似边界优化算法，从而避免了成对样本采集等复杂的优化技巧。研究通过在四个标准的深度度量学习基准测试中获得最新的结果，超越了最近和复杂的 DML 方法。

Mar, 2020

本文介绍了一类采用可计算的信息理论模型的深度学习模型，探讨了该模型从启发式的统计物理方法中导出熵和互信息的方法，在该方法的基础上，设计了一种实验框架用于对生成模型进行训练，并对该模型进行验证，同时研究了本模型在学习过程中的行为，得出结论：在所提出的情况下，压缩和泛化之间的关系仍然不明确。

May, 2018

利用伪监督和一致性正则化的半监督图像分类方法，在最大化增强视图之间的互信息下限时，通过信息熵神经估计利用未标记样本的潜力，从理论上分析出图像分类器的信息熵通过最大化 softmax 预测的似然函数近似估计。在这些见解的指导下，我们从两个角度优化我们的模型，以确保预测的概率分布与真实分布紧密一致，并通过大量实验证明其卓越性能。

Apr, 2024

本文研究了使用余弦相似度损失函数进行小数据集分类的问题，发现与分类交叉熵损失函数相比，余弦损失函数在只有极少标本的数据集上具有更高的准确性，在使用类别树的先前知识时可以进一步提高分类性能。

Jan, 2019

提出了一种新的损失函数，EM-Softmax，用于训练 CNN 模型的分类任务，以解决 softmax loss 在特征区分度和分类器弱点方面的局限性，并使用 Hilbert-Schmidt 独立性准则构建弱分类器的集合，通过实验验证其优于当前状态下的 softmax loss 和其他一些算法的性能。

May, 2018

本文提供证据表明，对于 NLP 和 ASR 任务，使用方块损失函数进行神经网络训练，可以获得比交叉熵更好的效果，并且可以提高计算资源的利用率。我们认为，使用方块损失函数需要成为现代深度学习最佳实践的一部分，与交叉熵在平等基础上竞争。

Jun, 2020

提出了一种更快的方法，称为互信息神经熵估计（MI-NEE），其将互信息估计变为估计熵的过程，通过使用自定义参考分布和选择均匀分布作为参考分布来实现更快的收敛。

May, 2019

本文构建了一个多样的分布族，展示了语言无关基准平台用于互信息估计器的实用性和局限性，并提出了适应问题困难度的适当估计器的选择指南及应用估计器时需要考虑的问题。

Jun, 2023