- 用于评估语言引导机器人策略的对照集
在语言引导的真实环境中，机器人评估需要耗费时间且通常只能对复杂场景中的潜在指令空间进行小规模采样。本研究提出了对机器人引入对比集的方法，通过对独立同分布（i.i.d.）的测试实例进行小、但具体的扰动。我们研究了评估工作的执行难度与估计测试性 - ACL当为自然语言处理任务微调预训练 Transformer 模型时，是否应该尝试多个优化器？是否需要调整其超参数？
通过实验发现，当优化器的超参数调整后，复杂的自适应优化器在测试性能上并没有实质性的差异，而仅调整学习率在大多数情况下就能达到与调整所有超参数相当的效果，因此建议选择最佳性能的任何自适应优化器，并仅调整其学习率。当无法调整超参数时，SGD w - 离线强化学习中的等变数据增强技术
我们提出了一种新的方法来解决离线强化学习中的泛化问题，通过学习动力学模型并检查其是否与固定类型的转换即状态空间中的平移等变，使用熵正则化增加等变集合并用结果转变的样本增强数据集，最后基于增强数据集使用现成的离线强化学习算法离线学习新策略，实 - 测试时间具备性能保证的分布偏移缓解
本研究提出了一种名为 FR-GNN 的通用框架，用于进行特征重构，并在测试时间内将这些重构特征整合到 GNN 的消息传递机制中，从而有效降低分布转移并提高测试性能。
- 最近邻分类器的两个尺度定律阶段
通过研究最近邻分类器的缩放定律，我们发现缩放定律可以有两个阶段：在第一阶段中，泛化误差多项式依赖于数据维度并迅速减小；而在第二阶段中，误差指数级依赖于数据维度并减小较慢，这凸显了数据分布在决定泛化误差中的复杂性。当数据分布良好时，我们的研究 - IJCAIGeNAS: 具有更好泛化性能的神经架构搜索
本文探讨了一种新的神经架构搜索度量方式，发现损失曲面的平整度可以预测神经网络架构的泛化能力，通过在不同的搜索空间进行评估，提出的方法相对于现有的 NAS 方法表现更好，并且在数据分布偏移以及目标检测或语义分割等任务中具有稳健的泛化能力。
- ICLR让可微架构搜索更少局部化
本研究针对 DARTS 的性能崩溃问题，提出采用更全局的优化方案，以更好地探索神经结构搜索空间，从而发现测试性能更佳、参数更少的神经网络架构。
- ICLR最优正则化可以缓解双峰下降现象
本文研究是否可以通过使用优化正则化方法避免双重下降现象。理论上，我们证明了对于某些线性回归模型，通过正则化可以实现测试性能的单调性增长，我们还通过实验证明了优化的正则化方法可以缓解双重下降现象。
- 深度双谷：更大的模型和更多的数据会造成伤害
我们证明了现代深度学习任务表现出 “双峰下降” 现象，即随着模型大小的增加，性能先变差，然后变好。此外，我们发现双重下降不仅是模型大小的函数，而且是训练时期数的函数。我们通过定义一个我们称之为有效模型复杂度的新复杂度度量来统一以上现象，并猜 - PowerSGD: 分布式优化中的实用低秩梯度压缩
本文研究了梯度压缩方法以缓解数据并行分布式优化中的通信瓶颈，提出了一种基于幂迭代的新型低秩梯度压缩器，在快速压缩梯度、高效聚合压缩梯度并且在测试性能上与随机梯度下降（SGD）相当的情况下实现了持续的加速，该算法是唯一评估的方法，与具有优化的 - 重新审视深度神经网络的小批量训练
本文研究了基于小批量样本随机梯度优化的现代深度神经网络训练中，不同批量大小对测试性能和泛化性能的影响，并指出使用小批量训练可以提供更稳定和可靠的结果。
- 深度强化学习中过拟合的研究
本论文对深度强化学习的过拟合现象进行了系统研究，发现过拟合可能会以不同方式发生，并且常用的随机性技术不一定能有效检测或预防过拟合，因此需要更加严谨的评估协议并研究感性偏差对泛化行为的影响。
- 深度学习对大规模标签噪声具有强韧性
本研究证明，基于深度神经网络的图像分类模型可以从含有数量远多于准确标签的训练数据中进行有效学习，表现出良好的测试性能提升，这种学习需要增加数据集大小作为代价。
- AAAI深度神经网络的深度：理论视角
通过研究深度神经网络中的余量界限，我们得出结论，在受限制的隐藏单元数量下，增加深度并不总是好的，因为它具有积极和消极的影响。我们发现，采用基于边缘的惩罚项来降低经验余量错误而不增加深度，可以显著提高测试性能。