基于离线模型的正态化最大似然估计优化

Feb, 2021

基于离线模型的正态化最大似然估计优化

Offline Model-Based Optimization via Normalized Maximum Likelihood Estimation

Justin Fu, Sergey Levine

TL;DR本文提出了在数据驱动的优化问题中利用归一化极大似然估计器解决不确定性和变化范围问题的方法，并通过在各个领域（如化学、生物学和材料工程）的高维设计问题中进行的实验验证了该方法的有效性。

Abstract

In this work we consider data-driven optimization problems where one must maximize a function given only queries at a fixed set of points. This problem setting emerges in many domains where function evaluation is a complex and expensive process, such as in the design of materials, vehi

data-driven optimization uncertainty handling normalized maximum-likelihood estimator neural network models high-dimensional design problems

发现论文，激发创造

深度 pNML：深度神经网络的预测性归一化最大似然

研究了深度神经网络模型类中预测归一化极大似然（pNML）方案及其相关可学习性度量，发现在对抗攻击方面具有鲁棒性，可用于检测样本类别分布不均、噪声标签等情况，且可作为基准学习者竞争的学习器生成 “两次通用” 的解决方案。

Apr, 2019

通过稀疏极大似然估计进行模型选择

使用加入 l1-norm 惩罚项的最大似然问题的解决办法来估计高斯或二元分布参数，以得到稀疏的无向图模型，并利用块坐标下降和 Nesterov's 一阶法等算法将复杂度限制在可接受范围内。

Jul, 2007

使用退出一个样本最大对数似然目标稳定训练概率模型

基于数据驱动方法的概率建模用于电力系统运行和规划过程，需要充足的大型数据集。本文提出一种自适应的核密度估计模型，通过分配可学习的权重给核心实现了该模型的性能改进，同时使用修正的期望最大化算法加快优化速度，并通过和高斯混合模型的比较，表明所提出的模型具有良好的性能。

Oct, 2023

通过超网络进行随机最大似然优化

本文探讨了通过超网络进行神经网络的最大似然优化。我们使用该方法在回归和分类基准测试上获得了具有竞争力的实证结果。

Dec, 2017

个体数据通用监督学习

本文从信息论的角度探讨了通用监督学习问题，提出了一个名为 Predictive Normalized Maximum Likelihood (pNML) 的学习方案，并证明其在特定测试任务的学习能力超过了当前基于经验风险最小化 (ERM) 的领先方法。

Dec, 2018

多信息源优化

针对黑盒函数优化问题，本文提出了一种新算法，通过价值信息分析决策，处理了由模型差异和噪音观测所带来的不确定性，并在实验中验证了其相对其他先进技术具有更高的目标价值和更少的探索成本。

Mar, 2016

我们应该学习最可能的函数还是参数？

使用神经网络时，参数空间最大后验估计（MAP）推断会导致病态解，但通过直接估计模型和数据所隐含的最可能函数，可以获得更平坦的最小值、更好的泛化性能和更强的抗过拟合能力。

Nov, 2023

异常语言的极小极大和 Neyman-Pearson 元学习

为提高 MAML 方法在跨语言自然语言处理中的鲁棒性，本文提出了两个基于最小化最大风险和约束性分布分别的构思而实现的改进版本：Minimax MAML 和 Neyman-Pearson MAML。这两种标准均构成了可微分的两人博弈。研究者在 POSM 和 QA 两个自然语言处理任务中对比了它们与其他方法的效果表现。

Jun, 2021

最大似然估计是处理良好指定的协变量转移的唯一所需方法

现代机器学习系统的一个关键挑战是实现越界通用化（OOD generalization）- 广义到与源数据分布不同的目标数据。本文证明了在针对协变量转移的规范设置下，令人惊讶的是，纯使用源数据（无需任何修改）的经典最大似然估计（MLE）达到了最小最大优化。我们的结果适用于非常丰富的参数模型，并不需要对密度比率施加任何有界条件。我们通过线性回归、逻辑回归和相位恢复的三个具体示例来说明我们框架的广泛适用性。此外，本文通过证明在误规设定下，MLE 不再是最优选择，而在某些情景下，最大加权似然估计（MWLE）成为最小最大优化。

Nov, 2023

深度学习模型选择的可扩展边缘似然估计

作为深度学习中模型选择的有前途的边际似然方法由于参数估计上的困难很少被使用。本研究提出了可伸缩的边缘似然估计方法，用于基于训练数据独立地选择超参数和网络结构。该方法建立在拉普拉斯方法和高斯牛顿逼近的黑塞矩阵的基础上，并在标准回归和图像分类数据集上表现优异。此外，该方法还能够在缺少验证数据（例如在非平稳设置中）时提高一般化性能。

Apr, 2021