该研究提出了一种名为等式学习器(EQL)的新型函数学习网络,可以学习解析表达式,并能够外推到未知的领域。通过稀疏正则化可以得到简洁明了的可解释表达式,可用于高效的基于梯度的训练。
Oct, 2016
本文考虑了学习支持外推的表示的挑战,引入了一种新颖的视觉类比基准和一种简单的技术:时间上下文归一化来支持关系强调的表示,接着发现该技术显著提高了外推能力,胜过了许多竞争技术。
Jul, 2020
本文研究了利用和超参数微调相关的重新参数化策略,增强深度学习系统在特定条件下的组合泛化能力,从而解决超域外推问题。该方法在各种监督学习和模仿学习任务中均具有实用性。
Apr, 2023
本文在一个由风险最小化玩家和出题人提供新测试分布的在线游戏框架下,研究亚群体间的泛化。通过对子组概率似然性重赋权重的基础上,证明外推比内插计算复杂度高得多,而它们的统计复杂度没有明显差异。此外,我们表明 ERM 和含有噪声的变种对于两种任务都是 provably minimax-optimal 的,这为领域泛化算法的形式分析提供了一个新的途径。
Feb, 2021
本文研究利用外推算法解决非凸优化问题的收敛性,并通过分析梯度下降和随机梯度下降算法证明外推可以加速算法的收敛速度。
Jan, 2019
本文提出使用计算有效的外推方法来稳定优化轨迹,同时通过平滑避免锐减的局部最小值,从而解决了大批量训练数据下的模型精度退化问题并且在 ResNet、LSTM 和 Transformer 等模型下得到证明。
Jun, 2020
本研究针对高维数据集中插值不可能发生的情况,从理论和实践角度出发,反驳了插值和外推能够准确指示泛化性能的说法,并挑战了当前插值 / 外推定义在泛化性能中的有效性。
Oct, 2021
本文分析局部插值方案,包括几何单纯插值算法和单一加权 k 近邻算法,在分类和回归问题中证明了这些方案的一致性或近一致性,并提出了一种解释对抗性示例的方法,同时讨论了与核机器和随机森林的一些联系。
Jun, 2018
研究使用梯度下降训练的神经网络如何外推,即他们在训练分布的支持外学习了什么。沿着这条线,作者发现了多层感知器和图神经网络的外推条件,并提供了理论和实证依据来解释图神经网络在算法任务的外推成功。
Sep, 2020
提出了一种基于神经扩展范例(Ex2)的数据增强方法,通过从某个分布中抽样得到的一些范例向该分布中生成新范例,应用于语言理解任务中,取得了在几个少样本学习基准上显著的优化结果。