Oct, 2021

在随机初始化的网络中发现具有先天强健性的子网络来制作健壮的刮刮卡

PDF
TL;DR该研究发现随机初始化的 DNN 中存在天生的稳健的子网络，其稳健准确性可以匹配或超过与之相似的经过敌对性训练的网络，从而进一步建立了关于模型稳健性的新视角并扩展了 Lottery Ticket Hypothesis。
发现论文，激发创造
  • 实用的彩票票假设在对抗训练中的应用

    本文提出彩票票据假说，展示了深度神经网络中存在的可训练子网络，这些子网络在相同的训练步骤下表现不亚于原始模型。研究表明存在某些子网络能够更快地收敛，我们的实验表明这些子网络在各种模型结构和超参数的限制条件下的一致存在性，此外，这些子网络能够在对抗性训练中将总时间缩短至最新技术的 49％。

    Mar, 2020

  • 双重彩票神经元假设

    本论文提出 Dual Lottery Ticket Hypothesis 和 Random Sparse Network Transformation 实现稀疏神经网络训练，并通过实验证明了其有效性。

    Mar, 2022

  • 鲁棒性强的模型参数可获更好迁移能力：在迁移学习中绘制更多可迁移子网络

    该研究提出了一种新的迁移学习管道，可以通过具有适当诱导的对抗鲁棒性的子网络来实现更好的迁移能力，从而在各种下游任务和稀疏性模式中实现增强的准确性和稀疏性 - 精度权衡，进一步丰富了彩票票假设。

    Apr, 2023

  • 评估抽奖彩票在分布转移下的表现

    本文研究了 Lottery Ticket Hypothesis 在分布转移下的稀疏子网络初始化及转移时的效果，并验证了这种初始化策略的归纳偏差可被应用于多个领域。

    Oct, 2019

  • 彩票假说：寻找稀疏的可训练神经网络

    该文在进行神经网络剪枝过程中提出了 “彩票票假设”，即在一个密集、随机初始化的前馈神经网络中存在一些幸运的子网络，当其被隔离地训练时，可以在相似的迭代次数内达到与原始网络相当的测试准确性，通过一系列实验验证了该假设的正确性和这些幸运初始化的重要性。

    Mar, 2018

  • 从超网络中联合进行架构搜索和参数剪枝，绘制与任务无关的彩票票券

    本文提出了一种 SuperTickets 的方法，通过一种两合一的训练方法进行神经架构搜索和参数修剪，从而直接识别出有效的神经网络。该方法不仅能够改善精度和效率权衡的问题，并且可用于多任务处理。

    Jul, 2022

  • 稀疏转移学习中的优胜彩票算法

    本文基于 Lottery Ticket Hypothesis 对一系列迁移学习任务进行研究，通过使用无结构量级剪枝来发现最优子网络，实验结果表明减少约 90-95% 权重的稀疏子网络在多个现实场景下能够达到或超过原始网络的准确度。

    May, 2019

  • 随机初始化子网络与迭代权重回收

    该研究介绍了一种名为 Iterative Weight Recycling 的算法，该算法可在初始化的神经网络中识别重要权重的子集以供重复使用，可以提高模型稀疏度，此外还支持了多奖励彩票票据假设的互补结果，即高精度，随机初始化的子网络产生多样的掩码，展现了高度的变异性。

    Mar, 2023

  • 鲁棒预训练的数据高效双赢彩票

    本研究提出了一种 “双赢彩票模型”，在同时具有标准训练和对抗训练的下游任务中， 可独立转移预训练模型的定位子网络，以达到与完整预训练模型相同的标准和强健的识别泛化效果。然后，本研究探讨了各种预先训练机制，发现强健的预先训练倾向于制作更稀疏的双赢彩票模型，并且相较于标准机制，在实际数据有限的情况下会更加高效。

    Jun, 2022

  • 具有结构强胜算头奖券的 N 次多项式超参数化卷积神经网络

    给定一个研究论文，识别并提取五个准确代表其主题和研究领域的关键词。然后，通过一句简洁的中文句子总结该论文。输出结果为 JSON，包含关键词和摘要字段，无需解释。

    Nov, 2023