使用新型激活函数 $x + sin^2 (x)$，结合传统 ReLU 激活函数的优势，来解决传统激活函数（如 ReLU、tanh、sigmoid 等）在学习周期函数方面的普遍失败。经实验证明，该方法能够成功地预测温度和金融数据。
Jun, 2020
本文讨论神经网络的外推问题，提出针对自然语言处理中对比训练集更长序列的泛化能力的注意力机制，并在 Lookup Table 任务的变体上验证了此假设，证明此种模型能更好地处理序列问题。
Nov, 2019
研究使用梯度下降训练的神经网络如何外推，即他们在训练分布的支持外学习了什么。沿着这条线，作者发现了多层感知器和图神经网络的外推条件，并提供了理论和实证依据来解释图神经网络在算法任务的外推成功。
Sep, 2020
本研究提出了一种记忆回溯网络算法，采用保留问题实例的显式副本以及渐进式训练方法，解决了循环系统复杂问题迭代次数过多导致退化行为的问题，从而使循环系统能够解决极难的算法推理问题。
Feb, 2022
本文提出了一种使用双重 Multi-Layer Perceptrons（MLPs）体系结构的信号表示方法，其中合成网络创建了从低维输入到输出域的功能映射，调制网络将目标信号对应的潜在代码映射到调制周期激活的参数，实现了图像、视频和形状的可推广的功能表示，并实现了比单一信号优化的先前工作更高的重建质量。
Apr, 2021
本文考虑了学习支持外推的表示的挑战，引入了一种新颖的视觉类比基准和一种简单的技术：时间上下文归一化来支持关系强调的表示，接着发现该技术显著提高了外推能力，胜过了许多竞争技术。
Jul, 2020
本文研究了利用和超参数微调相关的重新参数化策略，增强深度学习系统在特定条件下的组合泛化能力，从而解决超域外推问题。该方法在各种监督学习和模仿学习任务中均具有实用性。
Apr, 2023
机器学习方法在模式识别方面表现出色，然而在可伸缩的算法推理任务方面仍存在困难。近期的深度思考方法在学习算法的外推方面表现出希望，即在较小的环境中学习并在较大的环境中执行学习到的算法。然而，这些方法局限于对称任务，其中输入和输出维度相同。为了弥补这一差距，我们提出了一种名为 NeuralThink 的新循环架构，能够一致地对称和不对称任务进行外推，其中输入和输出的维度不同。我们通过引入一种新颖的不对称任务基准来做出贡献。我们展示了 NeuralThink 在对称和不对称任务的稳定外推方面始终优于先前最先进的深度思考架构，尤其是对于从较小的训练样本中稳定地外推到较大观测样本。
Feb, 2024
针对基于有限转换组的偏移推断问题，本文引入了一种由反事实引导的学习框架，其通过在模型中实现对于 (已知) 转换组的不变性来提高神经网络对偏移推断的鲁棒性，并通过序列和图像推断任务对此方法进行验证。
该研究详细调查了基于 PINNs 的外推行为，并提供了证据，通过分析解函数的傅里叶谱，表征了产生有利外推行为的 PDE，并展示了一种基于转移学习的策略，可将 PINNs 的外推误差降低高达 82％。
Jun, 2023