临界学习期是指在发育的早期阶段，暂时的感觉缺陷可能对行为和学到的表示产生永久影响，无论是在生物网络还是人工网络中都有实验证明了临界学习期的存在，这表明临界学习期可能对学习具有基础性的作用。然而，为什么深度网络中会出现临界学习期仍然是一个未解的问题，尤其是尚不清楚两种系统中观察到的临界学习期是否依赖于特定的架构或优化细节。为了分离出潜在的关键因素，我们着重研究深度线性网络模型，并展示了一些意外的结果，即这样的网络在表现上也展示出了生物和人工网络中所观察到的行为，而且还可以进行分析处理。我们证明了临界学习期取决于模型的深度和数据分布的结构。我们还通过分析和模拟展示了特征学习与来源之间的竞争关系。最后，我们将我们的分析扩展到多任务学习中，以展示在某些任务上的预训练会损害对新任务的转移性能，并展示了这与任务之间的关系以及预训练阶段的持续时间有关。据我们所知，我们的工作提供了第一个可以进行解析处理的模型，揭示了为什么生物和人工网络中会出现临界学习期的原因。

Aug, 2023

通过研究神经网络的早期学习过程，我们发现关键的学习时期影响着其对不同信号进行信息整合的能力，这一现象被称为临界学习期。我们提出了一种新的源敏感度测量方法，并利用跨传感器重建目标进行训练，结果表明这种方法比传统的监督学习方法更加鲁棒。

Oct, 2022

该研究提出了一种多阶段强化学习策略，以强调在关键时期周围找到合适的刺激以形成奖励，从而提高 AI 代理的性能、效率和稳定性。

Aug, 2022

本文研究神经网络学习的早期阶段，分析了神经网络在此期间的变化，发现深度网络在使用随机权重重初始化时不具有稳健性，但利用模糊输入或辅助自监督任务进行预训练即可近似监督网络的变化。

Feb, 2020

本文研究了深度学习系统在持续学习环境下的表现，发现其容易出现失去可塑性现象，影响其对新数据的适应能力，但通过 L2 正则化和重启动某些不常用单元的连续反向传播算法，可以缓解和避免这种现象。

Jun, 2023

本文介绍了 5 种减轻神经网络灾难性遗忘的机制（规则化，合成，彩排，双重记忆和稀疏编码）并提供了新的指标和基准来直接比较它们，实验结果表明，这些机制对于实现最佳性能而言是至关重要的，但难以完全解决灾难性遗忘问题。

Aug, 2017

终身学习对于人类和动物至关重要，然而，在机器学习和神经网络模型中，随着不断获取非静态数据分布的信息，由于 “灾难性遗忘” 或干扰而面临着困难。本论文对于人类生物系统中的终身学习因素进行了总结，并比较了现有神经网络方法的差异。

Feb, 2018

通过对参数的演化，我们全面分析了深度神经网络的学习动态，发现存在三个阶段：接近恒定的重建损失、下降和上升。我们还通过经验实证建立了数据模型，并对单层神经网络证明了阶段的存在。我们的工作为迁移学习提供了新的最佳实践：通过实验证明预训练的分类器在性能达到最优之前应该停止。

Dec, 2023

本文研究过参数化深度神经网络的层级功能结构和行为，通过实验重置权重值并从层的鲁棒性与性能下降角度分析了网络层级的异质性，提供了理论分析证明 “健壮” 与 “关键” 层的存在，并呼吁关注模型的 “平坦性” 和 “稳健性” 以实现深度模型的广义化。

Feb, 2019

本研究利用强化学习框架研究了 AI 机器人在其学习环境中的关键时期（即类似于人类婴儿大脑发育的阶段），并通过 Toddler-guidance 学习概念建立了一个类似于幼儿学习特点的虚拟环境，研究了在单模式和多模式学习中不同等级的指导方式对 AI 机器人的学习效率的影响，并通过 EAVE 数据集进行验证。结果表明，关键时期内，包含适度指导的多模式学习可以显著提高 AI 机器人的学习效率。

Jan, 2022