应用于野火科学的大规模非光滑最大熵模型的高效一阶算法

Mar, 2024

应用于野火科学的大规模非光滑最大熵模型的高效一阶算法

Efficient first-order algorithms for large-scale, non-smooth maximum entropy models with application to wildfire science

PDF

Gabriel P. Langlois, Jatan Buch, Jérôme Darbon

TL;DR介绍了一种优化算法，有效地训练了大规模、非光滑的最大熵模型，通过考虑西部美国的野火数据集，结果显示与野火发生的物理模型和以往统计分析结果相符，并且性能超过现有算法一个数量级。

Abstract

Maximum entropy (Maxent) models are a class of statistical models that use the maximum entropy principle to estimate probability distributions from data. Due to the size of modern data sets, Maxent models need efficient optimization algorithms to scale well for big data applications. State-of-the-art algorithms for Maxent models, however, were not originally

maximum entropy models optimization algorithms large-scale non-smooth fire occurrence

发现论文，激发创造

广义最大熵估计

本文提出了一个基于凸规划对偶性的新的近似方案，使用平滑的快速梯度方法来估计最大化熵的概率分布，同时满足一定数量的被噪声污染的时刻约束，进一步阐述了如何通过该方案来近似化学主方程和解决具有无穷状态和动作空间的约束马尔可夫决策过程的问题。

Aug, 2017

快速最大熵训练的类

我们提出了一种新的速度提升技术，通过使用类的形式将模型分解为两个最大熵模型，其一用于预测每个单词的类，其二用于预测单词本身，从而减少非零指示函数和更快的归一化，实现了比以前最佳技术高达 35 倍的速度提升。该技术还可用于加速训练其他机器学习技术，例如神经网络，适用于任何具有大量输出的问题，如语言建模。

Aug, 2001

自适应熵估计

本研究针对离散分布 P 进行 n 个独立同分布样本的香农熵估计，使用逼近理论法进行估计，实现了在估计熵的最小二乘率方面的极致。通过采用自适应估计框架，该方法相对极小值优化估计方法在分布 P 的嵌套子序列上实现了最小二乘率的估计，从而进一步证明了估计在样本 n 的情况下是最优的，并且基本上相当于 MLE 使用 nlnn 个样本进行估计。

Feb, 2015

最大熵分布的高斯过程回归

最大熵分布、拉格朗日乘子、高斯过程、核函数和数据驱动的最大熵闭合问题的性能研究。

Aug, 2023

离散分布函数的最大似然功能估计

针对离散分布函数的函数估计问题，利用浓度不等式和正线性算子逼近理论分析了 MLE 估计器的最坏情况的平方误差风险及其期望偏差。研究表明，MLE 在估计香农熵和 F_α(P) 产生了次优的样本复杂度，且 Dirichlet 先验平滑技术不能达到最小化极值。

Jun, 2014

熵、优化与计数

研究计算基于观测边际的离散对象的最大熵分布的问题，研究表明在一般条件下存在着多项式大小的描述，给出了一些关于近似计算和计数最大熵分布的算法，并且阐明了计算最大熵分布和计算数量之间的等价性。

Apr, 2013

基于能量模型的最大熵生成器

使用神经生成网络学习能量函数和一种分摊求近似（amortized approximate）的采样机制，结合最近提出的非参数互信息估计器来最大化生成样本的熵，使用必要条件从分数匹配（score matching）文献中衍生出的零中心梯度惩罚来稳定生成的对抗游戏。该技术可以生成与最新的生成对抗网络技术竞争的清晰图像，不会出现模式崩溃，并且在异常检测方面具有与现有技术相媲美的竞争力。

Jan, 2019

离散分布函数的函数估计极小化

本文提出了一种构建广义极小极大估计器的方法，以及一个基于多项分布的特殊案例。并在熵和互信息估计领域展示了这一方法的实用性和优势。

Jun, 2014

马尔可夫决策过程中的主动模型估计

本文研究了基于 Markov 决策过程 (MDP) 环境中的精确建模的高效探索问题，提出一种以加权熵为基础的算法用于解决贪心算法在探索初阶段表现较差的问题，并在简单的具有异构噪音的两个问题上进行了验证。

Mar, 2020

魔术师：基于样本的最大熵源分布估计

我们提出了一种用于推断科学模拟器参数的唯一源分布的方法，并尽可能保留更多的不确定性。

Feb, 2024