信息熵探测的贝叶斯框架
本文介绍了一种基于信息理论的方法来评估神经网络对自然语言处理的理解程度，即探针，发现在评估中应选择表现最好的模型，即使它是更复杂的模型，以获得更紧密的估计和更多的语言信息。作者在多种语言数据集上进行实验验证了这种方法的有效性。
Apr, 2020
该研究旨在通过贝叶斯框架度量文本中的归纳偏差量，并通过对 Contextual embeddings 的探究，比较了 fastText 和 BERT 在不同任务上的性能表现差异。
Oct, 2021
在当今数据驱动的世界中，公开可用信息的广泛传播加剧了信息泄漏（IL）的挑战，提高了安全性问题。本研究利用统计学习理论和信息论建立了一个理论框架来准确量化和检测 IL。该方法通过近似贝叶斯预测器的对数损失和准确度来准确估计互信息（MI），并使用自动化机器学习（AutoML）来近似贝叶斯预测器。研究通过在合成数据集和真实数据集上的实验验证了该方法的有效性。
Jan, 2024
对于内隐随机模型，在数据生成分布复杂度很高但采样是可能的情况下，我们应当采用贝叶斯实验设计来最大限度地提高数据与参数变量之间的互信息，并利用基于神经网络的互信息估计来处理计算成本较高的难题，并在模拟研究中展示其可行性。
Feb, 2020
利用相互信息和信息瓶颈的概念对元学习进行了建模，提出了一种通用的可行的框架，用于学习任务描述的随机表示或编码，该表示对于预测验证集具有高度的信息量，并开发了一种基于记忆的算法，用于少样本分类问题的研究。
Sep, 2020
从信息论的角度出发，了解自监督语音表示学习的现有方法，通过使用互信息来开发度量方法，从而帮助模型设计和选择，并通过线性探测来评估表示的可访问性，展示模型在层次线性探测和语音识别上的性能。
Jan, 2024
该研究旨在提供信息论概括界限及其与 PAC-Bayes 的关联的全面介绍，为最近的发展提供基础，广泛面向对概括和理论机器学习感兴趣的研究人员。
Sep, 2023