Apr, 2023

模拟退火在早期层次中导致更好的泛化能力

PDF
TL;DR使用模拟退火算法的 SEAL 方法，在迭代学习中起到优化前几层学习的作用，相对 LLF 方法在传输学习和 few-shot 任务上有更好的表现。
iterative learning methodsllfsimulated annealing in early layerstransfer learningfew-shot learning
发现论文，激发创造
  • 关于初始大学习率在神经网络训练中正则化作用的解释

    通过大学习率 SGD 与 Annealing 方案推出二层神经网络；结果表明，相比小学习率模型，它更好地推广了不容易泛化的模式，并通过实验演示使用 CIFAR-10 图像说明了该概念。

    Jul, 2019

  • 元学习中的遗忘学习

    L2F method proposes task-and-layer-wise attenuation to reduce the influence of prior knowledge for faster adaptation and improved performance in few-shot learning tasks with neural networks.

    Jun, 2019

  • 具有渐进式任务相关层冻结的高效自监督连续学习

    本研究提出了一种利用自监督学习进行连续学习的新方法，通过分析任务之间的相关性，提出了一种分层冻结的算法，可以显著提高模型的训练效率和内存效率。在多个数据集上的实验结果表明，该方法在多个指标上优于目前的状态 - of-the-art 自监督连续学习方法，且不会牺牲准确性。

    Mar, 2023

  • 自动合成到真实数据的泛化

    本研究提出了一种基于学习优化策略的方法，促进了合成图像训练模型与 ImageNet 预训练模型具有相似的表示，从而改善了合成图像到真实图像的泛化性能，并在领域适应方面展现了潜力。

    Jul, 2020

  • ELF：长尾分类的早退出框架

    提出一种早期退出框架（ELF）来应对长尾数据分布的问题，通过附加的支路来学习早期退出容易的样例，以提高模型精度并缩短推理时间。

    Jun, 2020

  • 学习率退火可以证明帮助泛化，即使对于凸问题

    本研究发现调整学习率档位可以显著影响神经网络的推广性能，并在二维线性回归等凸优化问题中验证了其存在性。研究进一步表明，使用学习率预热（大初始学习率，接着小学习率）可以导致比始终使用小学习率更好的推广性能，这可能是由于训练集和测试集的不匹配以及提前停止的组合造成的。

    May, 2020

  • 两层网络训练中的早期对齐是双刃剑

    使用一阶优化方法训练神经网络是深度学习实验成功的核心。在小的初始化下，训练动力学的早期阶段会导致神经元朝关键方向对齐，从而引发网络的稀疏表示，这与渐近梯度流的隐式偏差相关。然而，这种稀疏诱导的对齐会导致在最小化训练目标上面临困难，我们还提供了一个简单的数据示例，说明过度参数化的网络无法收敛到全局极小值点，而只能收敛到一个虚假的稳定点。

    Jan, 2024

  • 大规模语言反馈训练语言模型

    利用语言反馈进行模仿学习 (ILF) 是一种新方法，可以有效提升大型预训练语言模型的摘要性能，并比使用对比反馈或人工摘要的方法更好。

    Mar, 2023

  • 学习梯度下降：更好的泛化和更长的视野

    本文提出了一种学习自我学习模型和一些实用技巧，以优化损失函数的训练问题，其优化器在许多任务上优于通用的优化算法和 DeepMind 的学习优化器，包括深度 MLP、CNN 和简单的 LSTM。

    Mar, 2017

  • 通过自然语言反馈训练，改进代码生成

    本文提出了一种基于自然语言反馈的训练算法 ILF 并在神经程序综合任务中证明了其有效性，ILF 只需要少量人工编写的反馈意见就能提高 LLM 的表现，并且比仅仅基于演示训练的方法更有效和更节省样本。

    Mar, 2023