Softplus 回归与凸多面体

Aug, 2016

Softplus Regressions and Convex Polytopes

Mingyuan Zhou

TL;DR本研究提出了一种基于软正逆唯函数的回归模型，采用卷积、堆叠或组合两种操作来构建灵活的非线性预测分布，通过 Gamma 过程来支持无限叠加的卷积，采用 Gibbs sampling 进行贝叶斯推断来解决高度复杂的非线性预测分布问题，并在比较少的计算量下达到与核支持向量机相当的分类准确度。

Abstract

To construct flexible nonlinear predictive distributions, the paper introduces a family of softplus function based regression models that convolve, stack, or combine both operations by convolving countably infinite stacked gamma distributions, whose scales depend on the covariates. Gen

nonlinear predictive distributions softplus regression models gamma processes bayesian inference classification accuracies

发现论文，激发创造

使用软正规化进行不确定性估计的变分推断贝叶斯卷积神经网络

通过对 Softplus 函数的输出进行归一化，我们为具有变分推断的贝叶斯卷积神经网络引入了一种新的分类任务的不确定性估计方法。我们展示了这种可靠的变分推断方法如何作为各种网络架构的基本构造，并在多个数据集（MNIST，CIFAR-10，CIFAR-100）中的监督学习设置中实现与同一架构的频率主义推断相同的性能。

Jun, 2018

对数和指数神经网络和多项式模型在凸性与对数 - 对数凸性数据中的应用

本文提出了一种使用神经网络和激活函数来实现凸函数和对数对数凸函数的通用逼近器，其中得到的模型可通过凸优化和几何规划来有效设计和优化。

Jun, 2018

逻辑变分贝叶斯重新讨论

本文提出了一种新的边界方法用于估计软加函数期望，并展示了它如何应用于变分逻辑回归和高斯过程分类。与其他边界方法不同，我们的方法不需要扩展变分族或引入额外的参数来确保边界的紧致性。实验证明，这个边界方法比现有方法更紧致，而且计算速度显著更快，从而获得了最先进的变分后验性能。

Jun, 2024

利用平滑凸代理实现结构化预测的一般理论

本文提出了一个理论框架来进行结构化预测，其将多标签，排序回归和图匹配等任务的损失统一了起来，并可以获得条件随机场和二次代理等现有代理方法上的新结果。

Feb, 2019

使用 Polya-Gamma 潜变量进行逻辑回归模型的贝叶斯推断

本文提出了一种新的数据增强策略，基于多项式 Gamma 分布，用于贝叶斯模型中的后验推断。经过实验证明，该方法在回归模型中表现优异，且具有简单、高效等优点。

May, 2012

可逆高斯重新参数化：重访 Gumbel-Softmax

我们提出了一种更具模块化和灵活性的可重参数化分布族，其中通过可逆函数将高斯噪声转化为一热近似，这个可逆函数由一个修改过的 softmax 组成，并且可以包含多种不同的转换以服务于不同的特定目的。我们的构造在理论上具有 Gumbel-Softmax 的优势，并在各种实验中显着优于它。

Dec, 2019

可控稀疏 Softmax 替代方案

研究基于概率分布的机器学习任务中，提出了几种概率映射函数，为了控制稀疏度，开发出了一个统一框架并提出了两种新的 sparse formulations，并在多标签分类场景中开发了新的凸损失函数，用于计算注意力权重，从而在类似神经机器翻译和抽象摘要等标准 seq2seq 任务上获得更好的性能。

Oct, 2018

有条件强对数凹生成模型

介绍了条件强对数凹模型的概念，该模型将数据分布因子化为强对数凹条件概率分布的乘积，并使用适应于数据分布的正交投影器来实现因子化，从而实现了有效的参数估计和抽样算法，并在物理字段等多个领域展示了该模型的实用性。

May, 2023

超半空间中解决大边际分类器的凸松弛

通过将问题转化为多项式优化，使用半定松弛和稀疏矩和平方松弛方法来近似最优解，在广泛的实验中表现优于投影梯度下降方法。

May, 2024

关于非凸过参数化学习中 SGD 的指数收敛

该文研究了使用随机梯度下降方法学习的大型过度参数化模型的收敛速度，并证明了当损失函数为凸函数或满足 Polyak-Lojasiewicz 条件的广泛非凸函数类时，常数步长下 SGD 可以实现指数收敛。

Nov, 2018