该论文介绍了信息瓶颈理论作为一种信息理论范例来分析机器学习中使用深度学习等算法进行降维操作的有效性，并总结了其在深度学习理论中的重要性和实际算法的启示。

Apr, 2020

本文提出了一个信息理论框架，用于统一主动学习问题：水平集估计（LSE）、贝叶斯优化（BO）及其广义变体。首先介绍了一种新颖的主动学习标准，该标准包含了现有的LSE算法并在连续输入域的LSE问题中达到了最先进的性能。然后，通过利用LSE和BO之间的关系，我们设计了一个竞争性的信息理论获取函数，该函数具有与上置信上界和最大清洗熵搜索（MES）的有趣联系。我们的统一信息理论框架可以应用于以数据有效的方式解决LSE和BO的广义问题。最后，我们使用合成基准函数、真实世界数据集和超参数调整机器学习模型来实证评估我们的算法性能。

Dec, 2020

该论文提出了一种名为贝叶斯互信息的新框架，它从贝叶斯代理的角度分析信息，使得在有限数据情况下处理可以帮助增加信息的同时也有可能削减信息，更加符合机器学习应用的直觉，最终将该框架运用到探针任务中，通过限制可用背景知识来实现抽取的易于性。

Sep, 2021

自我监督学习在无标签数据中获取有意义的表示方面发挥了关键作用。在信息论框架内开发自我监督模型，我们提出以随机嵌入方式显式建模表示，并评估其对性能、信息压缩和超出分布检测的影响。研究结果表明，在表示和损失空间中，限制一个空间可能会影响另一个空间，从而导致性能下降。此外，我们的发现表明，在损失空间引入额外的瓶颈可以显著增强检测超出分布示例的能力，只利用表示特征或其潜在分布的方差。

Oct, 2023

本研究利用信息论来将符合预测与其他不确定性概念相联系，并证明了三种不同的方法来上界内在不确定性，同时通过符合预测和信息论不等式的组合，实现了两种直接有用的应用：（i）更规范和有效的符合训练目标，从头开始实现机器学习模型的端到端训练，（ii）将旁路信息纳入符合预测的自然机制。我们在集中式和联邦学习环境中进行了实证验证，并证明了我们的理论结果能够转化为流行的符合预测方法的低效性（平均预测集大小）。

May, 2024

可靠度的强大测量是机器学习、法律和政策研究领域的重要课题，其中关键问题包括可靠度测量的设计准则、大规模和实践中的测量方法，以及与同一研究愿景相关的不同学科所涉及的研究问题。

Jun, 2024

通过建立信息论基础，我们研究了神经缩放定律，并揭示了在无限宽度的两层神经网络生成的数据中，数据和模型大小的最佳关系大致呈线性，进一步验证了大规模的实证研究结果。

Jun, 2024

批判性地回顾了机器学习的三个主要理论，并提出了一种新的理论，根据该理论，当机器成功计算时，机器学习一种函数。我们展示了这个理论挑战了统计学和计算学习理论中的常见假设，因为它意味着学习真实概率既不等同于获得真实概率的正确计算，也不等同于对其几乎肯定的收敛。我们还从新理论的角度简要讨论了自然语言处理和宏观经济学的一些案例研究。

Jul, 2024

本书针对机器学习领域的数学基础和算法开发进行了系统介绍，填补了学术界对于基础概念和各种算法理论支持的知识空缺。书中提出了多种监督和无监督学习方法，以及生成模型的相关理论，提供了对现代机器学习技术的深入理解和实用指导。

Sep, 2024

本研究针对线性自回归模型中高斯最大似然估计器一致性的问题，提供了简短的信息论证明。该证明得出了几乎最优的非渐近参数恢复速率，且在有限假设类的情况下无需稳定性假设。

Sep, 2024