多项式网络正则化在图像识别中的应用
本文提出了一种基于多项式扩展的新型函数逼近器 ——π- 网,它是多项式神经网络,通过具有共享因子的张量集合分解来估计自然表示的未知参数,可用于许多任务和信号的表达建模,并在激活函数的辅助下在图像生成、人脸验证和 3D 网格表示学习等任务中实现了最新的结果。
Jun, 2020
介绍了 $\Pi$-Nets,这是一种新型的深度卷积神经网络方法,它们比标准的 DCNNs 具有更好的表示能力,可以在计算机视觉和机器学习中广泛应用,尤其在生成模型方面取得了最新的成果。
Mar, 2020
我们提出了多项式增强神经网络(PANNs),一种结合了深度神经网络(DNNs)和多项式逼近的新型机器学习架构。通过这些实验,我们证明了 PANNs 在回归和偏微分方程的数值解法上都比 DNNs 具有更好的逼近性能,同时在回归具有有限平滑性的函数时,也比多项式和基于 DNN 的回归方法具有更高的准确性。
Jun, 2024
通过优化训练方法,提高 PolyKervNets 在大型网络中的性能,可能消除传统非线性激活函数的需求,推动隐私保护深度神经网络架构的最新发展。
Dec, 2023
本篇研究工作将深度分类器的研究归纳到一个统一的框架下,其中将最先进的架构用不同程度的多项式形式表示,并对其进行了评估,结果表明其在模型性能和模型压缩方面具有高表现性,并且在有限数据和长尾数据分布存在的情况下具有优异的效果。
Apr, 2021
通过新的边界方法,我们提出了一种名为 VPN 的算法,具有全局收敛保证,可在 MNIST、CIFAR10 和 STL10 数据集上进行经验证的完整 PN 验证,其关键洞察是我们获得比 IBP 和 DeepT-Fast 更紧密的边界。
Sep, 2022
通过使用多项式逼近替换神经网络中的非多项式函数,并结合高精确逼近,本论文提出的多项式逼近神经网络(PANN)在实现隐私保护模型推理时与底层骨干模型具有类似的推理准确性。此外,通过对 PANN 的独立性进行调查,论文提出了提高 PANN 推理准确度的解决方案,并通过实验证明了解决方案的有效性。
Feb, 2024
该论文通过偏微分方程的理论框架,提出了三种新型的 ResNet 神经网络架构,分别属于抛物线和双曲线类型的 CNN,能够提供深度学习的新算法和思路,并用数值实验证明了它们的竞争力。
Apr, 2018
提出了一种仅依赖于多线性操作、名为 Mu-Layer 的核心层的模型 MONet,在图像识别和科学计算基准测试中表现优异,超越了之前的多项式网络,并与现代架构相当,有望激发进一步研究纯粹使用多线性操作的模型。
Jan, 2024
通过研究多项式激活的深度神经网络,我们提出了 “维度” 作为多项式神经网络表现力的度量标准,并探讨了它受体系结构影响的理论结果。同时,我们还将我们的研究与有利的优化性质联系起来,以及与张量和多项式分解等领域产生了有趣的关联。
May, 2019