神经网络的函数外推及其在流形中的应用
本文考虑了学习支持外推的表示的挑战，引入了一种新颖的视觉类比基准和一种简单的技术：时间上下文归一化来支持关系强调的表示，接着发现该技术显著提高了外推能力，胜过了许多竞争技术。
Jul, 2020
本文提出了一种基于深度学习的算法，用于在未知流形中函数的扩展问题上。该算法使用多层神经网络和局部坐标系统来实现函数近似，同时保证输出的误差范围与目标函数的导数数量成正比，并在不需要目标函数的光滑性的情况下自动调整精度。
Jul, 2016
本文在一个由风险最小化玩家和出题人提供新测试分布的在线游戏框架下，研究亚群体间的泛化。通过对子组概率似然性重赋权重的基础上，证明外推比内插计算复杂度高得多，而它们的统计复杂度没有明显差异。此外，我们表明 ERM 和含有噪声的变种对于两种任务都是 provably minimax-optimal 的，这为领域泛化算法的形式分析提供了一个新的途径。
Feb, 2021
Manifold Mixup 是一种正则化方法，有助于训练神经网络在多个隐藏层级别上具有更平滑的决策边界，并提高其对单步对抗攻击的鲁棒性和测试日志似然率。
Jun, 2018
研究使用梯度下降训练的神经网络如何外推，即他们在训练分布的支持外学习了什么。沿着这条线，作者发现了多层感知器和图神经网络的外推条件，并提供了理论和实证依据来解释图神经网络在算法任务的外推成功。
Sep, 2020
本研究针对高维数据集中插值不可能发生的情况，从理论和实践角度出发，反驳了插值和外推能够准确指示泛化性能的说法，并挑战了当前插值 / 外推定义在泛化性能中的有效性。
Oct, 2021
利用极限学习机来训练具有一层隐藏层的前馈神经网络（也称为浅层或两层网络），研究插值问题中的准确性以及使用 Chebychev 节点时的全局多项式逼近与 ANN 插值函数的异常行为。
Aug, 2023
该研究详细调查了基于 PINNs 的外推行为，并提供了证据，通过分析解函数的傅里叶谱，表征了产生有利外推行为的 PDE，并展示了一种基于转移学习的策略，可将 PINNs 的外推误差降低高达 82％。
Jun, 2023