Jun, 2023

基于最大熵的随机与符号密度估计

PDF
TL;DR本文提出了基于最大熵的随机和符号密度估计方法，该方法通过符号梯度流从样本中恢复概率密度函数，进而通过构建由样本猜测符号表达式的梯度漂移扩散过程并解决用样本的矩所构建的线性方程组，找到猜测分布为最大熵形式时分布的参数，使用符号回归找到最优基函数以提高极大熵函数的指数的条件数，该方法在计算代价方面具有优势。
maximum-entropy-based stochastic density estimationgradient flowsymbolic expressionlinear system of equationssymbolic regression
发现论文，激发创造
  • 广义最大熵估计

    本文提出了一个基于凸规划对偶性的新的近似方案，使用平滑的快速梯度方法来估计最大化熵的概率分布，同时满足一定数量的被噪声污染的时刻约束，进一步阐述了如何通过该方案来近似化学主方程和解决具有无穷状态和动作空间的约束马尔可夫决策过程的问题。

    Aug, 2017

  • 魔术师：基于样本的最大熵源分布估计

    我们提出了一种用于推断科学模拟器参数的唯一源分布的方法，并尽可能保留更多的不确定性。

    Feb, 2024

  • 多元熵估计的集成估计器

    本文提出了一种加权仿射组合的概率密度估计方法，通过求解一个离线的凸优化问题来确定权重，从而获得一个在维数上具有维度不变性的估计器，该方法在实际应用中表现出优越的性能。

    Mar, 2012

  • 离散分布函数的最大似然功能估计

    针对离散分布函数的函数估计问题，利用浓度不等式和正线性算子逼近理论分析了 MLE 估计器的最坏情况的平方误差风险及其期望偏差。研究表明，MLE 在估计香农熵和 F_α(P) 产生了次优的样本复杂度，且 Dirichlet 先验平滑技术不能达到最小化极值。

    Jun, 2014

  • 最大权重熵

    使用贝叶斯和集成方法，在深度学习中处理不确定性量化和跨分布检测问题，通过最大熵原则来解决预测多样性不足的问题，提出了一种权重参数化的方法，通过奇异值分解来增加权重熵以实现更有效的算法。

    Sep, 2023

  • 草堆中的针和稻草：可能稀疏序列的经验贝叶斯估计

    研究了一种基于经验贝叶斯方法的估计计算模型，可以适应稀疏和密集序列，使用这种模型可以实现多种类型和程度的稀疏度，包括 “几乎黑线性” 序列和规范化的 Lp 范数序列。结果表明，该方法在各类序列估计速率方面达到最优状态，并且能够自动适应底层信号的稀疏性。

    Oct, 2004

  • 极限反卷积：从嘈杂、异构和不完整的观测中推断完整的分布函数

    扩展高斯混合模型及 EM 技术，推广至带有不确定性协方差及缺失数据属性的数据点集，使用共轭先验和分离合并算法避免局部最优解，应用于 Hipparcos 卫星测量的二维星速数据，推断星体三维速度分布的算法。

    May, 2009

  • 马尔可夫决策过程中的主动模型估计

    本文研究了基于 Markov 决策过程 (MDP) 环境中的精确建模的高效探索问题，提出一种以加权熵为基础的算法用于解决贪心算法在探索初阶段表现较差的问题，并在简单的具有异构噪音的两个问题上进行了验证。

    Mar, 2020

  • 图上的最大熵分布

    研究了给定预期度序列的加权图上最大熵分布。使用指数族分布的一般理论，导出了顶点参数的最大似然估计量 (MLE) 的存在和唯一性，同时证明了单个样本的 MLE 在大图极限下的一致性，以及推出了加权图的 Erdos-Gallai 准则和顶点势的独立边权。

    Jan, 2013

  • 自适应熵估计

    本研究针对离散分布 P 进行 n 个独立同分布样本的香农熵估计，使用逼近理论法进行估计，实现了在估计熵的最小二乘率方面的极致。通过采用自适应估计框架，该方法相对极小值优化估计方法在分布 P 的嵌套子序列上实现了最小二乘率的估计，从而进一步证明了估计在样本 n 的情况下是最优的，并且基本上相当于 MLE 使用 nlnn 个样本进行估计。

    Feb, 2015