MMAug, 2017

广义最大熵估计

PDF
TL;DR本文提出了一个基于凸规划对偶性的新的近似方案，使用平滑的快速梯度方法来估计最大化熵的概率分布，同时满足一定数量的被噪声污染的时刻约束，进一步阐述了如何通过该方案来近似化学主方程和解决具有无穷状态和动作空间的约束马尔可夫决策过程的问题。
probability distributionmoment constraintsfast gradient methodapproximationmarkov decision processes
发现论文，激发创造
  • 最大熵分布的高斯过程回归

    最大熵分布、拉格朗日乘子、高斯过程、核函数和数据驱动的最大熵闭合问题的性能研究。

    Aug, 2023

  • 马尔可夫决策过程中的主动模型估计

    本文研究了基于 Markov 决策过程 (MDP) 环境中的精确建模的高效探索问题，提出一种以加权熵为基础的算法用于解决贪心算法在探索初阶段表现较差的问题，并在简单的具有异构噪音的两个问题上进行了验证。

    Mar, 2020

  • 带熵正则化的约束马尔可夫决策过程的双重方法

    研究了采用软最大化参数化的熵正则化约束马尔可夫决策过程及其 Lagrange 对偶函数和约束违规等问题。并提出了加速对偶下降方法以实现全局收敛性。

    Oct, 2021

  • 熵、优化与计数

    研究计算基于观测边际的离散对象的最大熵分布的问题，研究表明在一般条件下存在着多项式大小的描述，给出了一些关于近似计算和计数最大熵分布的算法，并且阐明了计算最大熵分布和计算数量之间的等价性。

    Apr, 2013

  • 用于赌博游戏的近似信息最大化

    基于熵最大化和自由能最小化的原理，提出一种新类的 Bandit 算法，通过最大化系统内关键变量的信息量近似来选择行动，该方法在经典 Bandit 设置中表现出较强的性能，并在高斯奖励的二臂 Bandit 问题上证明了渐近最优性，为进一步研究信息最大化方法在多臂 Bandit 问题中的应用提供了有效方法。

    Oct, 2023

  • 魔术师：基于样本的最大熵源分布估计

    我们提出了一种用于推断科学模拟器参数的唯一源分布的方法，并尽可能保留更多的不确定性。

    Feb, 2024

  • 利用数据和矩更新概率

    利用最大熵方法处理观测数据和矩约束，得到了同步更新问题的后验分布的通用 “规范” 形式，并讨论了非交换约束的一般问题，以及两个外表相似但实际上非常不同的问题的多项式实例的示例详细解法。

    Aug, 2007

  • 不确定最大熵原理

    介绍不确定最大熵法，将黑盒机器学习模型的输出作为输入，使其能够使用噪声观测，同时提高预测精度。

    May, 2023

  • 自适应熵估计

    本研究针对离散分布 P 进行 n 个独立同分布样本的香农熵估计，使用逼近理论法进行估计，实现了在估计熵的最小二乘率方面的极致。通过采用自适应估计框架，该方法相对极小值优化估计方法在分布 P 的嵌套子序列上实现了最小二乘率的估计，从而进一步证明了估计在样本 n 的情况下是最优的，并且基本上相当于 MLE 使用 nlnn 个样本进行估计。

    Feb, 2015

  • 离散分布函数的最大似然功能估计

    针对离散分布函数的函数估计问题，利用浓度不等式和正线性算子逼近理论分析了 MLE 估计器的最坏情况的平方误差风险及其期望偏差。研究表明，MLE 在估计香农熵和 F_α(P) 产生了次优的样本复杂度，且 Dirichlet 先验平滑技术不能达到最小化极值。

    Jun, 2014