Nov, 2023

信息论归纳学习的广义界限及其应用

PDF
TL;DR本文首次在信息理论的背景下，为传导学习算法开发了数据相关性和算法相关性的一般化界限。我们表明传导学习算法的一般化差距可以通过训练标签和假设之间的互信息来限制。通过创新性地提出传导超样本的概念，我们超越归纳学习设置，并建立了各种信息测量的上界。此外，我们派生了新颖的 PAC-Bayesian 界限，并建立了传导学习环境下一般化与损失曲面平坦性之间的联系。最后，我们提出了自适应优化算法的上界，并展示了在半监督学习和图学习场景中的应用结果。我们的理论结果在合成数据集和真实世界数据集上得到验证。
transductive learning algorithmsgeneralization boundsmutual informationtransductive supersamplespac-bayesian bounds
发现论文，激发创造
  • 基于互信息的泛化误差界限的紧缩

    利用信息论推导出监督学习算法的泛化误差的信息熵上界，能够更全面地考虑损失函数的条件，并且在应用于嘈杂和迭代算法时能够给出比现有结果更紧密的泛化误差表征。

    Jan, 2019

  • 学习算法泛化能力的信息论分析

    本研究提出了一种基于信息理论的泛化误差上界方法，用以控制模型的输入输出互信息，进而指导在数据适配和泛化之间寻找平衡点。在此基础上，我们探索了一些方法，包括利用相对熵或随机噪声来正则化 ERM 算法等。这些方法扩展和改进了 Russo 和 Zou 的最近工作。

    May, 2017

  • 信息论泛化界的统一框架

    文中提出了一种利用概率去相关引理、对测度空间中的的概率测度进行对称化、配对和链化等技术来获得学习算法信息论泛化界限的一般性方法，进而得到新的期望值和高概率条件下泛化误差的上界，特别地，还包括了基于互信息、条件互信息、随机链和 PAC-Bayes 不等式等现有泛化界限的特例。此外，Fernique-Talagrand 上界也是一个特例。

    May, 2023

  • 信息密度和条件信息密度的泛化界

    通过指数不等式的方法，我们研究了随机学习算法的泛化误差的界限和概率分布，针对亚高斯损失函数提供了以训练数据和输出假设之间信息密度为依据的新的界限，并将该方法扩展到了基于随机选择训练数据子集的情况。

    May, 2020

  • 广义界限：信息论和 PAC-Bayes 的视角

    该研究旨在提供信息论概括界限及其与 PAC-Bayes 的关联的全面介绍，为最近的发展提供基础，广泛面向对概括和理论机器学习感兴趣的研究人员。

    Sep, 2023

  • 元学习及其应用的信息论泛化界限

    本文介绍了信息论方面的上界计算方法，应用于两种广义的元学习算法（MAML、Reptile）中，使用互信息和个体任务互信息界限来提高元泛化间隙的精度。

    May, 2020

  • 量子数据学习的信息论泛化界限

    我们提出了一个描述量子学习的数学形式，并利用几种量子学习场景进行直观且可访问的推广边界。

    Nov, 2023

  • 基于条件互信息的尖锐一般化界限及其在含噪迭代算法中的应用

    研究使用超样本来计算条件互信息并提出新的紧密边界模型，应用于 Langevin 动力学算法以获得更紧密的假设测试边界。

    Apr, 2020

  • 基于信息的迁移式主动学习

    我们将主动学习推广到应对真实世界中的情况，其中采样被限制在域的可访问区域内，而预测目标可能位于该区域之外。为此，我们提出了 ITL，即信息驱动的转导学习，一种自适应采样的方法，旨在最大限度地提高对指定预测目标的信息获取。在普遍的规则性假设下，我们证明 ITL 会一致地收敛到可从可访问数据中获得的最小不确定性。我们在两个关键应用中展示了 ITL 的应用：大型神经网络的少样本微调和安全贝叶斯优化，ITL 在这两种情况下明显优于现有技术。

    Feb, 2024

  • 传导式 Rademacher 复杂度及其应用

    利用转导 Rademacher 复杂度及其 Error bounds 技术，借助新型的算法误差求解及算法刻画技术，得出三个已知的算法误差边界并针对混合转导算法提出新的 PAC-Bayesian 边界。

    Jan, 2014