本论文探讨了基于对比学习的图像表示学习方法，提出了一种最大化互信息的下界的目标函数，并在实验中发现选择难度更大的负样本以及视角可以提高算法性能。通过比较多种学习方法，研究结果表明，基于互信息的目标函数可以使得算法在分类、边界框检测、实例分割和关键点检测等任务上获得更好的表现。
May, 2020
本研究探讨了多模态表示学习中对称 InfoNCE 损失的理论理解，通过点间互信息的视角展示了达到预训练最优相似度的编码器在下游分类任务中提供了良好的表示。我们基于理论结果，提出了一种新的多模态对比学习相似度度量方法，并利用非线性核函数增强了其能力。通过在 Conceptual Caption 数据集上进行多模态表示模型的预训练，并在常用基准数据集上进行零样本分类和线性分类的评估，验证了所提方法的有效性。
Apr, 2024
基于表示距离的互信息最大化方法用于量化不同视图的重要性，进而实现更高效的对比学习和表示解耦。通过在频率域提取多视图表示，并基于不同频率之间的互信息重新评估其重要性，本文提出的框架能够有效约束互信息最大化驱动的表示选择，推动多视图对比学习。
Feb, 2024
利用新的代理度量和一种准确且可分析计算的近似方法提出了一种新的 infomin 学习方法，该方法可有效地去除不需要的信息，适用于公平预测模型，去相关表征学习和领域自适应。
Feb, 2023
本文介绍了互信息这一信息论中的重要量，在分类学和社区检测分析中被广泛应用，但在实际应用中常常会由于丢失关键的部分而产生误差。针对这一问题，本文提出了一种修正的互信息量，并讨论了该量化指标的实际实现方法和实例应用。
Jul, 2019
本文用互信息作为代替条件熵来训练深度神经网络分类器，并且在多个基准数据集上进行了实验证明，相对于现有交叉熵损失函数训练的模型，提出的互信息模型 (MILCs) 性能更好，总体测试准确率提升超过 10%。
Oct, 2022
利用信息最小化的对比学习模型 (InforMin-CL) 实现了无监督句子表示学习，通过最大化正实例之间的互信息并最小化其信息熵来保留有用信息和丢弃多余信息。实验结果表明，该模型在包括监督和无监督任务在内的十四个下游任务中取得了最先进的性能。
Sep, 2022
本文研究了多模态信号处理和分析的应用，通过利用信息计量的概念和 InfoMeter 系统，分析了自动驾驶的大规模数据集中的多模态 3D 物体检测系统，并提出了低模态间信息量对于检测准确性有益的新见解。
May, 2024
本文从互信息优化的角度研究了负样本对视觉语言预训练中交叉模态对比学习的影响，并提出了一种渐进式改进的交叉模态相似度对比学习策略，在理论指导下实现了对 (部分) 假负例样本有益和有害效应的平衡，这种方法在四个下游交叉模态任务中表现良好。
May, 2023
提出分解估计互信息 (Decomposed Estimation of Mutual Information, DEMI) 方法，在视觉领域和对话生成方面获得更好的表示表现，该方法通过将视图分解为逐渐更具信息的子视图来估计 MI，同时应用 Chian 规则简化了 MI 的估计过程。
Jun, 2021