- 弱正交约束下的多项式增强神经网络 (PANNs) 在功能和 PDE 逼近中的应用
我们提出了多项式增强神经网络(PANNs),一种结合了深度神经网络(DNNs)和多项式逼近的新型机器学习架构。通过这些实验,我们证明了 PANNs 在回归和偏微分方程的数值解法上都比 DNNs 具有更好的逼近性能,同时在回归具有有限平滑性的 - MM局部解析泛函推前有限维逼近与最小二乘多项式截断
这篇论文介绍了一种用于研究有限离散数据的解析映射的理论框架,阐明了多元情境中最小二乘多项式逼近的数学机理。通过考虑局部解析泛函空间的推前作用,而非直接处理解析映射本身,我们确立了一种从离散数据中适当进行推前的有限维逼近方法,通过 Fouri - 低精度多项式逼近的神经网络:提高准确性的新见解与技术
通过使用多项式逼近替换神经网络中的非多项式函数,并结合高精确逼近,本论文提出的多项式逼近神经网络(PANN)在实现隐私保护模型推理时与底层骨干模型具有类似的推理准确性。此外,通过对 PANN 的独立性进行调查,论文提出了提高 PANN 推理 - AutoFHE:用于 FHE 上高效评估的 CNN 自动适应
AutoFHE 通过采用分层混合度多项式激活函数,与同态评估架构联合优化以在 RNS-CKKS 下适应标准 CNNs,从而提高安全推理的速度和准确性。
- 通过联合设计激活函数进行深度神经网络的快速和私密推断
介绍了一种基于多方计算的机器学习服务(MLaaS)的方法,通过使用多项式逼近替换 ReLU 激活函数和采用单轮 MPC 协议进行评估,实现了在大型模型上快速准确的推理,从而保护客户数据隐私。
- ICLR深度网络表达自然函数的能力
证明深度神经网络可以有效逼近多元多项式,但当只有一个隐藏层时,所需的神经元数量呈指数级增长;另一方面,增加隐藏层数量从 1 到 k 时,所需的神经元数量的增长速度是随着 n^(1/k) 对数增长,暗示了实用的表达所需的最小层数仅对 n 进行 - 神经网络的深度分离
研究表明,具有指数级有界权重的 poly-size 深度二神经网络不能逼近无法由低次多项式逼近的函数,然而,这些函数可以通过 poly-size 深度三网络逼近,并从均匀分布的角度阐明了深度二和深度三网络之间的区别。
- 无需主成分分析的主成分投影
该论文介绍了一个迭代算法,用于高效地将向量投影到矩阵的前几个主成分上,避免了对主成分分析(PCA)的显式计算,提供了对最流行的主成分回归问题的快速迭代方法。
- AAAIBernstein 机制:差分隐私下的函数发布
通过开发一个适用于 Oracle 访问目标函数评估和灵敏度的功能机制,利用迭代 Bernstein 算子进行多项式逼近和多项式系数扰动,在较弱的正则条件下建立了快速的依概率均匀逼近的实用程序速率,可用于解决函数发布的差分隐私问题,并提供了任 - Mercer 核和综合方差实验设计:高斯过程回归和多项式逼近之间的联系
研究实验设计过程以开发计算模型代理, 探索实验设计和近似算法之间的相互作用。重点研究了两种广泛使用的近似方法:高斯过程回归和非侵入式多项式近似。
- 通过最佳多项式逼近,在大字母表上最小化熵估计率
在独立样本的基础上,通过多项式逼近构建最优估计器并证明了最小均方误差与自然对数的平方存在关系,进而推导出最小样本量与以 K 为底的对数的比例成正比的一般规律.
- 区间内特征值数量的高效估算
文章探讨了基于多项式和有理逼近过滤器结合随机过程的方法,用于估计大型稀疏埃尔米特矩阵中所在给定区间的特征值数量的问题。
- 一维和二维快速反转变换采样
提出一种用于生成平滑概率分布的伪随机样本的计算高效且稳健的算法,该算法基于 Chebyshev 多项式、Chebyshev 网格、低秩函数逼近的多项式逆变换抽样方案,数值实验结果表明该算法优于现有方法。