不确定最大熵原理
提出了新概念 troenpy,用于量化概率分布的确定性,以替代熵的应用,泛用于机器学习中,尤其在文本分类和序列数据处理方面表现突出。同时定义了量子 troenpy 以量化量子系统的确定性。
Apr, 2023
提出了一个信息论框架,将原子尺度模拟、机器学习和统计力学结合起来,通过建立相图、识别稀有事件、对数据集进行优化、以及进行模型无关的不确定性量化,统一描述了原子尺度建模中的信息相关问题。
Apr, 2024
使用贝叶斯和集成方法,在深度学习中处理不确定性量化和跨分布检测问题,通过最大熵原则来解决预测多样性不足的问题,提出了一种权重参数化的方法,通过奇异值分解来增加权重熵以实现更有效的算法。
Sep, 2023
基于熵最大化和自由能最小化的原理,提出一种新类的 Bandit 算法,通过最大化系统内关键变量的信息量近似来选择行动,该方法在经典 Bandit 设置中表现出较强的性能,并在高斯奖励的二臂 Bandit 问题上证明了渐近最优性,为进一步研究信息最大化方法在多臂 Bandit 问题中的应用提供了有效方法。
Oct, 2023
本文研究了极大熵和最小化最坏期望损失之间的密切关系,证明了这两个问题是对偶的,并提供了将一种问题的解用于另一种问题的方法,同时扩展了熵的一般定义,引入了分布差异的最小化概念并建立了相应的理论。
Oct, 2004
本文提出了一个基于凸规划对偶性的新的近似方案,使用平滑的快速梯度方法来估计最大化熵的概率分布,同时满足一定数量的被噪声污染的时刻约束,进一步阐述了如何通过该方案来近似化学主方程和解决具有无穷状态和动作空间的约束马尔可夫决策过程的问题。
Aug, 2017
应用机器学习模型进行决策需要区分模型所知与不知的内容。本文提供新的洞见,揭示当前预测不确定性度量的局限性,并引入了一种理论上可靠的度量方法来克服这些局限。实验证明,我们引入的度量方法在控制的合成任务中表现得更加合理,并且在利用预测不确定性的实际应用中具有优势。
Nov, 2023
本文介绍了一种关于主观趣味测量的普遍策略,通过将先前的信息作为对数据的不确定性的概率模型的约束来表示其先前信息,从而使之有意义并实用。同时,使用 MaxEnt 模型来衡量主观趣味测量的各种措施。
Aug, 2010
本文研究了如何通过最大熵假设来学习到未观测特征分布的新模型,并将其应用于一类常见的隐私数据集聚合模式中,从而使得该模型在相应公共数据集上的性能与传统逻辑回归模型在全数据集上训练的性能相当。
Oct, 2022
引入最大熵原理的一般化方法,应用于带有从数据中得出的经验边缘条件的分布集合,提出一种针对监督学习问题的通用 minimax 方法,其中最大熵机是一种新的最小化结构化分布中最坏情况 0-1 损失的线性分类器,并且通过实验表明可以优于其他线性分类器,同时证明了 minimax 方法中的泛化最坏情况误差保证的界限。
Jun, 2016