ECCVApr, 2021

用多项式神经网络增强深度分类器

PDF
TL;DR本篇研究工作将深度分类器的研究归纳到一个统一的框架下，其中将最先进的架构用不同程度的多项式形式表示，并对其进行了评估，结果表明其在模型性能和模型压缩方面具有高表现性，并且在有限数据和长尾数据分布存在的情况下具有优异的效果。
deep neural networksclassificationarchitecturespolynomialmodel compression
发现论文，激发创造
  • 深度多项式神经网络

    本文提出了一种基于多项式扩展的新型函数逼近器 ——π- 网，它是多项式神经网络，通过具有共享因子的张量集合分解来估计自然表示的未知参数，可用于许多任务和信号的表达建模，并在激活函数的辅助下在图像生成、人脸验证和 3D 网格表示学习等任务中实现了最新的结果。

    Jun, 2020

  • 多项式网络正则化在图像识别中的应用

    本文介绍了一种新型的 Polynomial Networks，使用强正则化方法使其能够在 6 个基准测试中达到与 ResNet 相似的性能，同时更加参数高效且不需要元素激活函数进行训练，旨在探索其正则化方案的具体研究。

    Mar, 2023

  • 深度多项式神经网络的表达能力

    通过研究多项式激活的深度神经网络，我们提出了 “维度” 作为多项式神经网络表现力的度量标准，并探讨了它受体系结构影响的理论结果。同时，我们还将我们的研究与有利的优化性质联系起来，以及与张量和多项式分解等领域产生了有趣的关联。

    May, 2019

  • 多项式分类器的并行张量列车学习

    该研究利用张量列车格式来表示多项式分类器，提出了两种学习算法来解决低计算复杂度的优化问题，进而演示了其在实际应用数据集上的高效性和功效。

    Dec, 2016

  • 理解模块化多项式

    神经网络对模块化算术任务的学习受限，无法很好地进行推广；然而，在文献中已知有一种多层感知机（MLP）网络权重的解析解适用于模块化加法任务，本文将这种解析解的类别扩展到包括模块化乘法和具有多个项的模块化加法。此外，我们展示出在这些数据集上经过训练的真实网络通过泛化（理解）学习类似的解，我们结合这些 “专家” 解来构建在任意模块化多项式上具有推广性的网络，并猜测通过神经网络训练的模块化多项式可被分类为可学习和不可学习，并提供了支持我们观点的实验证据。

    Jun, 2024

  • 弱正交约束下的多项式增强神经网络 (PANNs) 在功能和 PDE 逼近中的应用

    我们提出了多项式增强神经网络（PANNs），一种结合了深度神经网络（DNNs）和多项式逼近的新型机器学习架构。通过这些实验，我们证明了 PANNs 在回归和偏微分方程的数值解法上都比 DNNs 具有更好的逼近性能，同时在回归具有有限平滑性的函数时，也比多项式和基于 DNN 的回归方法具有更高的准确性。

    Jun, 2024

  • 深度神经网络：非阿基米德分析的形式化

    引入了一类具有多层树状结构的深度神经网络 (DNN)，使用无穷非阿基米德局部域的整数环中的数字进行编码。这些环以无限根树的方式具有自然的分层组织。在这些环上的自然态射使我们能够构建有限的多层架构。新的 DNN 是对所提到的环上定义的实值函数的稳健逼近器。我们还表明这些 DNN 也是在单位区间上定义的实值平方可积函数的稳健逼近器。

    Jan, 2024

  • Π-nets: 深度多项式神经网络

    介绍了 $\Pi$-Nets，这是一种新型的深度卷积神经网络方法，它们比标准的 DCNNs 具有更好的表示能力，可以在计算机视觉和机器学习中广泛应用，尤其在生成模型方面取得了最新的成果。

    Mar, 2020

  • 深度网络表达自然函数的能力

    证明深度神经网络可以有效逼近多元多项式，但当只有一个隐藏层时，所需的神经元数量呈指数级增长；另一方面，增加隐藏层数量从 1 到 k 时，所需的神经元数量的增长速度是随着 n^(1/k) 对数增长，暗示了实用的表达所需的最小层数仅对 n 进行对数级增长。

    May, 2017

  • 阶梯多项式神经网络

    本文介绍了一种基于乘积构建出的新型激活函数的多项式前向神经网络，其可以被标准训练技术（如批量归一化和丢弃）所训练，并且在回归和分类任务上表现良好，同时具有一些在贝叶斯学习中非常有用的解析计算数量。

    Jun, 2021