- MIM4DD：数据集精炼的互信息最大化
我们引入互信息作为衡量合成数据集与真实数据集之间共享信息量的度量标准，并通过对比学习框架内的新设计的可优化目标来数值化地最大化互信息，从而更新合成数据集。实验证明，这种方法可以作为现有先进方法的附加模块来实现数据集精简。
- 通过互信息的变分下界理解探针行为
自监督表示、线性探测、信息论、互信息、线性可分表示
- 加速卷积神经网络剪枝的空间灵气熵
我们提出了一种改进 CNN 剪枝的方法，通过使用空间灵气熵来改善互信息的计算，以提高剪枝的鲁棒性和效率。在 CIFAR-10 基准数据集上的实验结果展示了我们方法在剪枝性能和计算效率方面的优越性。
- 使用抗噪扩散谱熵评估神经网络训练过程中的表示
我们通过利用数据几何形态来计算熵和互信息，从而可靠地评估高维数据中的学习过程，证明其在分类网络中的增长和影响。
- 信息修改的 K 最近邻算法
提出了一种新的分类方法，名为信息修正 KNN（IMKNN），通过引入互信息（MI）来提高 K - 最近邻算法（KNN）的性能，并从合作博弈论中的 Shapley 值概念汲取灵感，以优化价值分配。实验结果表明，在不同数据集和评判标准下，IMK - 类别学习所引发的神经几何信息论研究
通过信息论方法，本文研究了类别学习引发的表示效率问题，并提出了相应的解决方案。研究结果表明，最小化编码成本等价于最大化类别集合与神经活动之间的互信息，而该互信息可通过两个项的求和来刻画。此外，通过数值实例展示了编码神经群体的 Fisher - TURBO：自编码器的瑞士军刀
我们提出了一个新颖的信息理论框架 TURBO，用于系统分析和推广自动编码方法，并在各种数据表示之间最大化互信息，从而为神经网络模型提供了更深入的理解和更高效的应用。
- 信息论归纳学习的广义界限及其应用
本文首次在信息理论的背景下，为传导学习算法开发了数据相关性和算法相关性的一般化界限。我们表明传导学习算法的一般化差距可以通过训练标签和假设之间的互信息来限制。通过创新性地提出传导超样本的概念，我们超越归纳学习设置，并建立了各种信息测量的上界 - ACL自我互信息：通过自监督多任务学习和辅助互信息最大化实现高效多模式融合
通过自监督学习的方式，利用对比预测编码作为辅助技术最大化单模输入对和多模态融合结果之间的互信息，通过最大化互信息，促进多模态融合与单模态之间更好的对齐，从而提高多模态融合的性能。
- SCONE-GAN：基于语义对比学习的生成对抗网络用于端到端图像翻译
SCONE-GAN 使用图卷积网络来学习物体之间的依赖关系，保持图像结构和语义，并通过样式参考图最大化互信息的方式进行图像翻译，以生成更现实和多样化的场景图像。
- 混合物和神经评论家：关于细度分布的点互信息特征
本文研究相互信息、逐点相互信息轮廓、多元正态分布、蒙特卡洛方法，该研究还使用精细分布来研究现有相互信息估计器的局限性、变分估计器中使用的神经评论家的行为以及实验异常值对相互信息估计的影响，并展示了如何使用精细分布来获得基于模型的贝叶斯估计的 - MINDE: 互信息神经扩散估计
通过基于 Girsanov 定理的新方法，我们提出了一种估计随机变量之间互信息（MI）的方法。我们的方法基于分数函数的扩散模型来估计两个密度之间的 Kullback Leibler 散度，并衍生出估计随机变量熵的方法。我们的结果表明，我们的 - 生成内在优化：具备模型学习的内在控制
采用变分方法联合学习估计互信息和动力学模型的必要数量，提供了一种结合不同形式感兴趣结果的广泛框架，将内部激励与奖励最大化相结合，以增强样本效率并将环境的不确定性纳入决策中。
- 最大切片互信息
本文提出了一种信息理论的广义 CCA 方法，称为最大切片互信息（mSMI），它通过低维投影识别高维变量之间的最大互信息，能捕捉数据中的复杂依赖关系并具有较快的计算和可扩展的估计能力，同时保留了 Shannon 互信息的优秀结构特性和独立性的 - 基因信息最大化：探索在高维成像遗传学研究中的互信息最大化
本研究从互信息的角度出发，通过识别现有方法的关键限制，引入了一种跨模态学习框架 Genetic InfoMax (GIM)，包括正则化的互信息估计器和一种新颖的遗传信息变换器，以解决 GWAS 所面临的特定挑战。我们在人类脑 3D MRI - 关于知识增强推荐的对比视角之甜蜜点
提出一种新的用于增强推荐系统的对比学习框架，通过构建两个独立的对比视图，最大化它们的相互信息，并以单向方式将知识图谱信息融入到用户 - 物品交互图中，实验证明该方法相比现有技术具有更好的效果和效率。
- 提升效果与预测建模之比较分析
通过理论分析比较预测方法与提升建模方法，本论文针对二进制结果和二进制操作案例，从理论基础出发，重点讨论了提升建模方法的性能影响因素，研究贡献包括利润度量的新形式、提升曲线收敛于利润度量的正式证明以及在模拟中证明预测方法仍然优于提升建模的条件 - DGM-DR：具有互信息约束的糖尿病视网膜病变分类的领域泛化
通过最大化预训练模型的互信息来重新建立目标函数，以解决领域转移在医学成像领域的问题，并在糖尿病视网膜病变分类中得到了稳定且优于先前最先进方法的结果。
- CRYPTO-MINE：基于互信息神经估计的加密破解
在密码学领域中，我们提出了一种全新的方法来估计明文和密文之间的互信息，通过应用神经网络来评估密码系统的效率，并分析了多种加密方案和基准方法的效果，同时探讨了信息泄漏与输入分布之间的关系。
- MM通过特征解耦和互信息最大化进行视频侵权检测
自媒体时代提供了大量高质量的视频，然而，频繁的视频版权侵权行为严重损害了视频创作者的利益和热情。本文从两个方面解决了该问题：（1）我们提出将原始高维特征分解为多个子特征，明确地将特征分解为互斥的低维分量，以期删除冗余信息；（2）在分解的子特