- 贝叶斯容量作为联邦学习中重构攻击的度量
在这篇论文中，我们利用信息论量化信息流的框架，形式化了重建威胁模型。我们展示了贝叶斯容量与 DP-SGD 算法泄漏给对重建攻击感兴趣的敌手相关的 Sibson 无穷阶互信息之间的紧密上界。我们提供了实证结果，证明了这一指标在衡量机制对抗重建 - NLP 分类任务的信息论分析方法
该研究提供了一个信息理论框架，用于分析文本分类任务中输入对输出的影响，研究发现多选阅读理解任务中，上下文与问题对输出的影响随着数据集的挑战程度增加而减少；而情感分类任务中，输入文本的语义含义在决定情感时比其语言表达更为重要。
- TURBO：自编码器的瑞士军刀
我们提出了一个新颖的信息理论框架 TURBO，用于系统分析和推广自动编码方法，并在各种数据表示之间最大化互信息，从而为神经网络模型提供了更深入的理解和更高效的应用。
- 自监督学习中概率嵌入潜力揭示
自我监督学习在无标签数据中获取有意义的表示方面发挥了关键作用。在信息论框架内开发自我监督模型，我们提出以随机嵌入方式显式建模表示，并评估其对性能、信息压缩和超出分布检测的影响。研究结果表明，在表示和损失空间中，限制一个空间可能会影响另一个空 - 文本解释中的信息测量
通过将解释信息放在信息论框架中，我们提出并量化了两种文本解释方法的信息流，并提供了对它们进行评估的工具和标准，从而为可解释的 AI 领域建立了严格和标准化的评估标准。
- 利用智能体群体学习顺序任务嵌入
本文提出了一个信息论框架，以学习固定维度的嵌入，用于强化学习任务。通过使用多样的智能体群集来衡量任务的相似性，本文描述了信息理论标准的直觉，该直觉是基于观察智能体在一个任务上的表现降低我们对其在另一项任务中表现的不确定性。在两个应用场景中， - VisualGPTScore：多模态生成预训练评分的视觉语言推理
使用 VisualGPTScore 作为评估模型的强基准线，因为它表现出在最近提出的基于图片和文本检索的基准测试中良好的组合理解性能，该模型将 VisualGPTScore 分解为 P（text）和 Pointwise Mutual Inf - 大型语言模型的水印
本研究提出了一种基于水印技术的保护私有语言模型的框架，通过嵌入可被算法识别但人类无法察觉的信号保证模型输出的安全性，并利用解释性 p 值的统计学方法检测水印的敏感性。测试结果表明本方法对于 Open Pretrained Transform - 光导管高带宽近距离信息传输
通过使用多模光纤，我们提出了一个信息理论框架来传输最大熵（数据）图像，并通过千米以内的距离最大化信息传输，通过不同的差分可微神经网络来检索图像，最终能够以最大化的信息页大小恢复出数字输入图像。
- 一个基于信息理论的监督学习框架
本文提出了一种新颖的信息论框架，用其自己的遗憾和样本复杂度分析机器学习的数据需求，并用该框架研究了由具有 ReLU 激活单元的深度神经网络生成的数据的样本复杂度，并在权重的特定先验分布下建立了同时独立于宽度和线性深度的样本复杂度界限。
- 重新发现假设：语言模型需要满足语言学需求
本文探讨了现代语言模型中是否包含通过所谓的探针恢复的语言知识的持续争论，并研究了语言知识是否是现代语言模型良好性能的必要条件，提出了信息论框架，旨在将语言建模目标与语言信息相关联，并强化了成果通过对合成和实际 NLP 任务的各种实验。
- AAAI一个基于信息论的框架，用于统一主动学习问题
本文提出了一个信息理论框架，用于统一主动学习问题：水平集估计（LSE）、贝叶斯优化（BO）及其广义变体。首先介绍了一种新颖的主动学习标准，该标准包含了现有的 LSE 算法并在连续输入域的 LSE 问题中达到了最先进的性能。然后，通过利用 L - 通过条件互信息推理广义化问题
该论文提出了一个信息理论框架来研究机器学习算法的泛化性能，利用条件互信息量化算法输出和训练数据之间的关系，并提出基于 VC 维、压缩方案、差分隐私等方法来获得有界的条件互信息，从而得出泛化的各种形式。
- ICLR深度半监督异常检测
本研究提出新型的半监督深度异常检测方法 Deep SAD，并基于信息论框架建立起来的理论解释。该方法在 MNIST、Fashion-MNIST 和 CIFAR-10 数据集上均取得了令人满意的性能提升。
- CVPR变分信息蒸馏用于知识迁移
本论文提出了一种信息理论框架用于知识转移，将知识转移视为最大化教师和学生网络之间的互信息，将该方法应用于不同架构的网络间的知识转移，证明了其性能远超现有方法。
- 锚定相关性解释：最小领域知识主题建模
本文介绍了一种名为 CorEx 的主题建模方法，这种方法不需要假设潜在的生成模型，而是通过信息理论框架学习最大信息的主题。该框架可以自然地推广到具有层次结构和半监督扩展的情况，通过锚词，可以灵活地将单词级的领域知识纳入 CorEx，从而最小 - 监督学习中贝叶斯风险的速率失真界限
本文提出了一个信息理论框架，用于评估在参数化贝叶斯设置下训练分类器所需的标记样本数量，并使用 $L_p$ 距离导出分类器和真实后验概率分类器之间的平均距离的上下界，并利用 $ L_p $ 丢失作为畸变度量，以后验分布的微分熵和插值维度的数量