- 通过潜在压缩学习在交替图像文本数据上进行视觉模型预训练
通过最大化因果注意模型的输入和输出之间的相互信息，我们提出了一种名为 Latent Compression Learning（LCL）的视觉模型预训练方法，以有效利用交叉图像 - 文本数据，实现对齐图像 - 文本数据进行预训练并生成强大的视 - 通过信息瓶颈约束提升对抗迁移性
基于信息瓶颈理论，我们提出了一种名为 IBTA 的黑盒可传递对抗攻击的新框架，利用不变特征的进展。通过在等效攻击性能约束下减少对原始数据的敌对扰动依赖性，鼓励更多地依赖对分类有最大贡献的不变特征，从而增强对抗攻击的传递性。通过重新定义基于 - ACL检索增强生成中有效的噪音过滤的信息瓶颈视角
检索增强生成结合了大语言模型的能力和从广泛语料库检索到的相关信息，但在面对现实世界的噪声数据时面临挑战。本文提出将信息瓶颈理论引入检索增强生成，通过同时最大化压缩和生成结果的互信息，最小化压缩和检索到的内容之间的互信息，实现对噪声的过滤。实 - 通过双分子模态和多底层结构精炼的药物推荐
通过结合患者病历和生物医学知识，我们提出了 BiMoRec，它利用了三维分子结构和原子属性来克服现有方法中对二维分子结构的局限性，实现了二维和三维分子图的融合，并通过与患者就诊信息的交互来提取子结构，从而生成最终的药物组合。通过在 MIMI - 数据解释性和特征选择的部分信息分解
本文介绍了 Partial Information Decomposition of Features（PIDF），一种同时实现数据可解释性和特征选择的新范式。相较于传统方法，我们的方法基于每个特征的三个度量值：与目标变量的相互信息、特征对 - 一种基于互信息的面向偏好的多样性模型用于电子商务搜索的再排序
本研究提出了基于互信息的偏好多样性模型（PODM-MI），通过采用多维高斯分布来捕捉用户对多样性的偏好，并最大化多样性偏好与候选项之间的互信息，以提高它们之间的相关性，适应性地进行排序，实现准确性和多样性之间的平衡。在实际的在线电子商务系统 - 多模式学习系统中的互信息分析
本文研究了多模态信号处理和分析的应用，通过利用信息计量的概念和 InfoMeter 系统，分析了自动驾驶的大规模数据集中的多模态 3D 物体检测系统，并提出了低模态间信息量对于检测准确性有益的新见解。
- 审视我们忽略的事物：在基于上下文的离线元强化学习中驾驭任务表征的转移
通过最大化互信息来提高任务表示能够实现性能的单调改善，其中，RETRO 算法重新调整任务表示偏移，从而在离线元强化学习中取得了 SOTA 的渐近性能、训练稳定性和训练时间消耗的实证结果。
- 远程视觉多任务推理的压缩特征选择
深度模型中的特征压缩与远程推理任务之间的关联性，通过互信息作为特征重要性度量，进行硬选择和软选择实验并与其他方法进行比较，提供多目标分析来深入研究。
- 几何对齐迁移编码器的多任务扩展
利用分子数据中的多任务相互信息，通过将曲线坐标与局部平坦坐标对齐来扩展 Geometrically Aligned Transfer Encoder (GATE) 算法，连接多个分子任务以确保从源任务到目标数据的信息流。
- 线性非高斯有向无环模型的最短路径问题重新定义：成对似然比、先验知识和路径枚举
利用改进的 LiNGAM-SPP 框架，通过消除参数调整的需求和利用图搜索方法，提高因果发现算法的实用性和性能。
- CVPR确定性多视角聚类的可微信息瓶颈
通过拟合互信息的规范化核格拉姆矩阵，我们提出了一种新的可微信息瓶颈方法 (DIB)，通过确定性和解析的方式有效地进行多视角聚类，实现了输入变量从不同视角的确定性压缩。
- 水下检测中基于不确定性的主动学习图像分割
使用主动学习方法在水下基础设施检测任务中进行图像分割，并使用互信息和蒙特卡洛 dropout 计算获得采集函数，结果显示采用主动学习方法可以显著降低水下检测任务中分割模型的成本。
- 无参考摘要的信息论蒸馏
InfoSumm 是一种基于信息理论目标的新型框架，通过互信息来蒸馏出一个强大的摘要器，不依赖于大规模语言模型的能力或人工编写的参考文献，参数仅为 568M，性能竞争力强，在人工评估中超过了领域内监督模型，更胜一筹于 ChatGPT 的可控 - AAAICOSMIC: 任务无关摘要评估的互信息
我们提出了一种新颖的面向任务的评估方法，评估摘要生成器的质量，同时保持任务成果；我们在理论上建立了任务结果的错误概率与源文本和生成摘要之间的互信息之间的直接关系；我们引入了 COSMIC 作为这一度量的实际实现，证明其与人类判断基于度量的密 - 词序的重要性和非重要性
通过研究语言模型的敏感度，提出语言冗余可以解释语言模型对自然语言理解任务中的词序变化不敏感的现象，即词序和其他语言线索（如格标记）提供了重叠和冗余的信息。利用互信息量化词序的信息量，结果显示当词序信息量较低时，模型对未乱序和乱序句子的预测更 - 关于基于语言条件技能发现的互信息思考与模仿学习
通过数学方法评估语言条件化策略学习框架中技能与语言指令之间的关系，提出了一种称为语言条件化技能发现（LCSD）的端到端模仿学习方法，通过最大化语言和技能之间的互信息，在无监督的情况下学习离散潜在技能并利用技能序列重构高级语义指令，通过在 B - 非线性贝叶斯最优实验设计基于对数 Sobolev 不等式
从候选池中选择 $k$ 个实验以最大化所选子集与潜在参数之间的互信息，并通过基于 Log-Sobolev 不等式构建的计算廉价的互信息下界提出了贪婪方法，这对于非线性 / 非高斯环境中的互信息评估而言具有计算复杂性的问题具有优于随机选择策略 - 通过近似贝叶斯最优预测进行信息泄露检测
在当今数据驱动的世界中，公开可用信息的广泛传播加剧了信息泄漏（IL）的挑战，提高了安全性问题。本研究利用统计学习理论和信息论建立了一个理论框架来准确量化和检测 IL。该方法通过近似贝叶斯预测器的对数损失和准确度来准确估计互信息（MI），并使 - 从互信息角度重访语音表征的自监督学习
从信息论的角度出发，了解自监督语音表示学习的现有方法，通过使用互信息来开发度量方法，从而帮助模型设计和选择，并通过线性探测来评估表示的可访问性，展示模型在层次线性探测和语音识别上的性能。