- 可微分物理学的模仿学习
本文提出了一种新的基于可微分物理仿真器的模仿学习方法 (ILD)，该方法将物理预设作为先验加入到计算图中进行策略学习，在优化过程中动态选择每个状态的学习目标，实现了单循环结构，提高了稳定性和训练速度。在验证中，ILD 在连续控制任务和变形物 - 通过潜在预测编码实现快速准确的多变量时间序列异常检测
LPC-AD 是一种快速而精确的多元时间序列异常检测方法，通过降低训练时间和提高检测准确度来提升性能，利用 autoencoder、latent predictive coding 等思想构建了通用架构 LPC-Reconstruct，实现 - ICLR快速 AdvProp
本文介绍了一种名为 Fast AdvProp 的改进 Adversarial Propagation（AdvProp）的方法，通过去除不必要的训练组件，提高了训练速度，并采用不同于其他训练配方的具有纠缠性的学习方法，进一步提高了模型性能，在 - Ranger21：一种协同深度学习优化器
介绍了一种新的优化器，Ranger21，它结合了 AdamW 和八个组件，能够提供显著的验证准确性和训练速度的提高，并且能够顺利地训练 ResNet50。
- ICMLEfficientNetV2: 更小的模型和更快的训练
本文介绍了 EfficientNetV2, 这是一种新的卷积网络家族，具有比以前的模型更快的训练速度和更好的参数效率，同时采用了神经结构搜索和缩放相结合的方法，以共同优化训练速度和参数效率。通过逐渐增加图像大小来训练，我们的 Efficie - ICML利用选择性参数共享扩展多智体强化学习
该论文提出了一种新颖的方法，通过根据智能体的能力和目标对其进行分区，将参数共享的样本效率与多个独立网络的表征能力相结合，以缩短训练时间并提高最终回报，从而解决多智能体深度强化学习中，参数共享方法在不同环境下对训练速度和收敛效果的影响。
- AAAISingleProp：通过快速训练的方式生成可证明鲁棒性神经网络
本研究提出一种新的正则化方法，可以更高效地训练神经网络并提高防御对抗攻击的准确性。在 MNIST 和 CIFAR-10 数据集上的实验证明了该方法的有效性。
- 训练速度和模型选择的贝叶斯视角
从贝叶斯角度出发，通过线性模型的训练速度和边缘似然之间的联系揭示其两个主要见解，即模型的训练速度可以用来估计其边缘似然，同时在一定条件下，这个度量量可以预测线性模型组合中模型的相对权重，实验证明这种直觉在深层神经网络的无穷宽度限制和随机梯度 - 神经网络结构搜索的快速性能估计
提出了一种基于训练速度测量的、无模型、高效、便宜的模型估计器，可在各种神经结构搜索空间中提高准确性并改善搜索速度或质量。
- ICML利用多目标进化算法揭示分类问题的核心集
本文介绍了一种基于多目标进化算法的新型候选核心集优化方法，该方法可以同时最小化点集数量和分类误差，实验结果表明该方法比现有的核心集发现技术具有更好的性能。
- 用于深度和物理语境下神经网络的具有斜率恢复项的局部自适应激活函数
本文提出了两种局部自适应激活函数的方法，分别是逐层自适应激活函数和逐神经元自适应激活函数，它们能够提高深度学习和物理信息神经网络的性能。通过引入每个神经元和每个层级的可扩展参数，我们实现了激活函数的局部调整，并使用一种变种随机梯度下降算法进 - AAAI神经网络学习中复杂性管理的一种手段：模块化
提出一种模块化的神经网络设计方法，将神经网络分解为控制模块和多个实现基本操作的功能模块，以提高训练速度、训练稳定性和可维护性，并通过比较整体和模块化神经网络在排序问题上的表现来说明模块化概念，同时讨论了在模块化神经网络中出现的一些问题。
- ICML过参数化的两层神经网络的优化与泛化的细粒度分析
该论文分析了一个简单的 2 层 ReLU 网络的训练和泛化，通过对相关内核的特性进行追踪，提出了更紧致的训练速度特征描述和网络大小无关的泛化界限以及对梯度下降训练的广泛平滑函数可学性的证明。
- 高效结合人类演示和干预以实时安全训练自主系统
通过结合不同形式的人机交互，本研究利用人类示范和干预学习来安全地实时训练自主系统，从而加快训练速度并提高性能
- 深度神经网络损失函数的极限方向与随机梯度下降步长的关系
使用较小的学习率和 SGD 最陡峭的方向进行训练可以提高模型的训练速度和泛化能力，而较大的学习率或较小的批量大小将导致 SGD 进入更宽的区域。
- 使用单个 CNN 进行姿态不变人脸对齐
本文提出了一种新的 CNN 层，称为可视化层，能够与不同损失函数联合优化，减小了训练时间并提高了面部对齐的准确性。