training error | BriefGPT - AI 论文速递

关键词training error

搜索结果 - 12

带周期激活函数的指导与控制网络
通过修改隐藏层中的周期性激活函数，我们演示了使用正弦表示网络（SIRENs）多功能性的指导与控制网络（G&CNETs）变种。我们展示了结果 G&CNETs 在三种不同的控制场景上训练更快并实现更低的整体训练误差，通过初步分析试图解释 SIR
PDFa month ago
超参数化领域中 “重要性加权” 估计器的离群错误的尖锐分析
我们研究了一个过参数化的高斯混合模型，结合了 “重要性权重”，对一个插值解的内分布和外分布的测试误差进行了严格的分析，发现了最坏情况下分布偏移鲁棒性和平均准确度之间的新的权衡关系。
PDF2 months ago
逼近半线性波动方程的具有物理建模信息的神经网络的误差估计
我们提供了严格的误差界限，以评估逼近半线性波动方程的物理为本的神经网络。通过神经网络的层宽和训练点数，我们对具有两个隐藏层的双曲正切神经网络提供了总误差的界限，可在一些假设下使其任意小。我们通过数值实验展示了我们的理论界限。
PDF5 months ago
神经网络中的测试样本准确度随训练样本密度增加而提高
通过研究表明，在表示空间中，训练样本密度的倒数平滑处理后的经验训练误差边界与测试样本的预测不准确性密切相关，通过在测试集中排列样本边界值并放弃最高边界值的样本，平均阈值下对图像分类数据集的预测准确性提高了 20％。
PDF3 years ago
超参数神经网络的梯度下降动力学
本文通过 Lyapunov 分析，证明了使用梯度下降法训练过程中神经网络权重的动态会收敛到接近最小范数解的一个点，并通过实例表明这一结论的意义在于 GD 收敛于泛化性能好的预测函数，从而提供了 Arora 等人的普适性结果的另一证明。
PDF3 years ago
随机矩阵分析随机傅里叶特征：超越高斯核，精确的相变和相应的双下降
本文讨论基于随机傅里叶核（RFF）的回归模型的精确渐进特征，研究表明在数据样本数、数据维度和特征空间维度等三个因素中为大且可比较的实际场景下，随机 RFF Gram 矩阵不再收敛于著名的极限高斯核矩阵而是有一个可处理的行为，双重下降测试误差
PDF4 years ago
CART 稀疏学习
本文研究了 CART 方法构建的回归树的统计特性，发现训练误差由每个节点中的最优决策树与响应数据的 Pearson 相关性控制，并通过构建先验分布和解决非线性优化问题来限制其范围，利用训练误差和 Pearson 相关性之间的联系来展示当深度
PDF4 years ago
ICML在达成零训练误差后，我们是否需要零训练损失？
本研究提出了一种称为 flooding 的解决方案，通过限制训练误差在一个合理的小值范围内，以达到更好的泛化效果，并在实验中证明了有效性。
PDF4 years ago
通过过度参数化将神经网络嵌入半扁平极小点和鞍点
本文理论研究了过参数化情况下神经网络的训练误差，考虑了将网络嵌入更宽的网络中的三种方法，并讨论了更窄的网络的最小点是否会成为更宽网络的最小点或鞍点。我们的结果表明，具有平滑和 ReLU 激活的网络在嵌入点周围具有不同程度的平坦区域。我们还将
PDF5 years ago
NIPS深度学习中步长的重要性
利用梯度下降算法训练神经网络会导致产生离散时间非线性动力系统，算法步长对这些系统的收敛行为有决定性的影响并能解释实际问题中观测到的多种现象，如训练误差的恶化和深度残差网络的性能差异等。
PDF6 years ago
多层神经网络训练无坏局部最小值：针对数据的独立误差保证
通过平滑分析技术，我们对具有分段线性激活函数、二次损失和单输出的多层神经网络（MNN）在可微的局部极小值处的训练损失提供保证。特别地，我们证明对于一个具有一个隐藏层的 MNN，几乎每个数据集和 dropout-like 噪声实现的每个可微局
PDF8 years ago
鲁棒性和泛化性
基于稳健性的学习算法的普适性界限推导及其稳健性被证明是学习算法发挥作用的基本属性。
PDF14 years ago