- 深度变分多元信息瓶颈 —— 变分损失的框架
通过信息论，我们提出了一个可以重新演绎和推广现有变分方法，并设计新方法的统一原则。我们的框架基于多变量信息瓶颈的解释，其中两个贝叶斯网络相互权衡。我们将第一个网络解释为编码器图，指定了在压缩数据时要保留哪些信息；我们将第二个网络解释为解码器 - 神经网络潜在表征中的对抗性机器学习
通过信息论的背景将此问题转化为信息失真和鲁棒性的两个新度量，我们对分布式深度神经网络（DNNs）对抗行为的鲁棒性进行了严格分析，并通过考虑 6 种不同的 DNN 架构、6 种不同的分布式 DNN 方法和对 ImageNet-1K 数据集进行 - 基于 (大型) 语言模型获得的概率的一种测量专利权要求范围的新方法
本研究旨在提出以专利权要求的自信息的倒数来衡量其范围。基于信息理论，该方法假设罕见的概念比通常的概念更具信息量，因为其更令人惊讶。自信息是根据该要求的出现概率计算的，而概率是根据语言模型计算的。本研究考虑了五种语言模型，从最简单的模型（每个 - 福尔摩斯不玩骰子：证据理论对社会和生命科学的意义
证据理论可用于数据融合中，能够表达由于担心事件可能发生而产生的不确定性，与概率论相比，它不仅仅限于决策者目前设想的可能性；我们阐述了 Dempster-Shafer 的组合规则与贝叶斯定理在各种概率论版本中的关系，并讨论了信息论应用受证据理 - 理解、模拟和优化内容和行为的大型内容与行为模型
在这篇文章中，我们通过将行为标记重新引入到大型语言模型（LLMs）的训练中取得了初步进展，得到的大内容和行为模型（LCBMs）在内容理解、行为模拟、行为理解和行为领域适应等方面表现出广泛的泛化能力。
- 论神经网络所学习的信息：与记忆和泛化的联系
通过信息论分析深度学习及神经网络，研究在训练过程中神经网络获取的信息，提出了限制权值中标签噪声信息的学习算法，并提出了样本信息度量概念，探究了神经网络在非典型、模棱两可或属于代表性较弱群体的情况下的行为，导出了非平凡的泛化表现界限，并通过知 - ICML强化和防御具备马尔可夫链近似的图重构攻击
通过以 GNN 作为马尔可夫链，并借助灵活的链逼近方法，我们首次对图再现攻击进行了全面研究，并提出了两种信息理论引导的机制：一种是通过自适应设计来提取更多的私有信息的基于链的攻击方法；另一种是在训练 GNN 时去除更多的链敏感信息的基于链的 - 一个基于信息理论的半监督迁移学习方法
本文提出了一种新颖的信息论方法，以改善基于半监督学习的转移学习中深度神经网络的传递性，特别是在源数据集和目标数据集之间存在分歧的情况下，通过引入 Mutual Information 和 Lautum Information 来 应用于目标 - 在大型语言模型中测量和修改实体知识
本文提出了信息理论量化大型语言模型中现实知识的方法，评估了其与现有排名法的精度，并探究了两种前沿知识安装方法在特定情况下的限制，最后通过应用在上下文学习中，证明了该方法可以用来提取 LLM 中未学习和错学的事实。
- 使用信息理论 Shapley 值解释预测不确定性
本文提出一种将 Shapley 值框架用于解释各种预测不确定性的方法，旨在通过量化每个特征对个体模型输出的条件熵的贡献来解释模型输出的不确定度；该方法具有用于协变量转移检测、主动学习、特征选择和主动特征值获取的应用。
- 量子决策和搜索算法的统一信息动态分析：计算智能度量
本文从信息理论的角度考察了量子算法的演化，利用 Deutsch-Jozsa，Shor 和 Grover 算法的经典和量子信息流分析来论证基于超态叠加、量子纠缠和干涉的信息门控单元（QAG）通过作用于输入向量，将信息储存到系统状态中，在最小化 - 从大型矿石中提炼金：通过关键样本选择实现高效数据集精馏
本文提出了一种基于信息理论和样本价值的新的数据集精简方法，经过全面的数据选择分析，该方法能够极大的降低训练成本，扩展现有的精简算法到更大规模、更多元化的数据集上，并且能够在多种不同类型的数据集上持续提高性能。
- 隐私保护性：一种信息理论方法
本文提出了一个新的度量指标 —— 隐私保护度量，用于表征视频流在进行特定视频分析任务时的隐私保护程度。我们基于信息论定义了隐私保护度量，并开发了有效的算法来估算度量。实验证明，我们的隐私保护度量与实验测量结果相一致。
- 利用深度学习识别 LUCAS 作物覆盖照片中的作物
本文利用深度学习对地面影像进行农作物分类，选取 EU's LUCAS 数据库中的 12 种作物数据集，使用 Mobile-net 模型进行识别并通过信息论进行结果加工和后处理，并验证结果与 EU 的农业政策的实际应用相关性。
- 燕麦为何便宜：科尔莫戈洛夫复杂度与过程生成
该论文研究了信息论在游戏内容生成方面的理论关系，证明了生成器可以生成的最复杂艺术品的 Kolomogorov 复杂度与生成器的可能空间大小之间存在关系，并将其与专家生成器设计师的经验进行了关联，其中传达了生成器中的知识编码、输出空间密度和其 - 深度学习算法的泛化能力理解：基于核化的 Renyi 熵视角
该论文提出了一种基于信息理论的方法，使用内核化的 Renyi 熵刻画了随机梯度下降算法的学习效率，实现了更紧密的泛化误差界限。
- CVPRJedi: 基于熵的对抗性补丁定位和消除
本文提出用信息论和 autoencoder 方法的 Jedi，作为对抗性修补的一种新防御策略，其对于实际攻击效果显着并是一种不需要更改训练或推理的模型不可知方法。
- 压缩还是不压缩 —— 自监督学习和信息理论：一篇综述
本文综述了信息理论、自监督学习和深度神经网络三者交叉领域的最新研究进展，提出了自监督信息理论学习问题的统一框架，并讨论了信息论量的经验测量和估算方法。
- 基于预测的贝叶斯主动学习
提出一种新的主动学习策略 - 期望预测信息增益（EPIG），比传统的基于 BALD score 的方法，在模型预测上取得更强的性能，可以用于各种数据集和模型。
- 论人工智能生成的文本检测的可能性
该文针对如何区分机器生成文本和人类生成文本的问题，提出了基于信息理论的准确度量方法，讨论并设计出更优秀的文本检测器，并给出了样本复杂度的理论上限。