Jun, 2024

彩票适应性：减轻 LLM 中的破坏性干扰

PDF
TL;DRLottery Ticket Adaptation (LoTA) is a sparse adaptation method for large language models that improves performance on multiple tasks by optimizing a sparse subnetwork, mitigating catastrophic forgetting.
large language modelsmulti-task adaptationlottery ticket adaptationsparse subnetworkcatastrophic forgetting
发现论文，激发创造
  • 视觉和语言中的抽奖券玩法

    本文通过实证研究发现，大规模的预训练 VL 模型中存在可训练的子网络，该子网络可通过精细修剪结构实现高精度计算并具有良好的通用性。

    Apr, 2021

  • 用于目标识别的彩票票据假设

    文章探讨了深度学习神经网络中 Lottery Ticket Hypothesis（LTH）方法对于物体识别、实例分割和关键点预测任务的模型剪枝效果，结果表明通过该方法找到的初始模型可以在不影响性能的情况下达到 80% 的稀疏度。

    Dec, 2020

  • 预训练语言模型的强大抽奖票

    本文提出了一种基于学习二进制权重掩码的新方法，用于识别原始 PLM 中隐藏的强健 Ticket，并设计了一个对抗性损失目标来引导寻找强健的 Ticket，并确保票据在准确性和鲁棒性方面表现良好。

    Nov, 2022

  • KS-Lottery: 查找多语言模型的认证彩票

    通过使用 Kolmogorov-Smirnov 检验分析微调前后的参数分布变化，我们提出了 KS-Lottery 方法，以识别在多语言微调中非常有效的少数 LLM 参数集。我们进一步从理论上证明了 KS-Lottery 可以在嵌入层中找到被证实的中奖票，使用这些参数进行微调可以保证与全面微调相同的性能表现。与其他参数高效调整算法在翻译任务上相比，实验结果显示 KS-Lottery 在找到的参数集上进行微调，可以获得与全面微调 LLM 相当的性能，同时参数数量较少。令人惊讶的是，我们发现微调 LLaMA 中的 18 个标记的嵌入层就足以达到微调翻译性能。代码和模型将向公众发布。

    Feb, 2024

  • 双重彩票神经元假设

    本论文提出 Dual Lottery Ticket Hypothesis 和 Random Sparse Network Transformation 实现稀疏神经网络训练，并通过实验证明了其有效性。

    Mar, 2022

  • 稀疏转移学习中的优胜彩票算法

    本文基于 Lottery Ticket Hypothesis 对一系列迁移学习任务进行研究，通过使用无结构量级剪枝来发现最优子网络，实验结果表明减少约 90-95% 权重的稀疏子网络在多个现实场景下能够达到或超过原始网络的准确度。

    May, 2019

  • 成功将抽奖票假设应用于扩散模型

    通过将 Lottery Ticket Hypothesis 应用于扩散模型，本研究首次在基准测试上发现了在稀疏度为 90%-99% 时仍能保持性能的子模型，并提出了一种可以在模型的不同层之间具有变化稀疏度的方法。

    Oct, 2023

  • 并非所有的抽奖都平等

    通过实验证明，在可接受的神经网络大小下，要发现优秀的稀疏子网络，比较小的神经网络更容易受益于 Lottery Ticket Hypothesis 并且得到更好的训练效果。

    Jun, 2022

  • 抓到偷走我中奖彩票的人！声明我的彩票所有权

    本文研究使用基于图形签名和触发器集的稀疏拓扑信息进行彩票验证，以防止知识产权侵权和确认所有权。实验表明，该方法对不同模型和攻击有鲁棒性。

    Oct, 2021

  • 评估抽奖彩票在分布转移下的表现

    本文研究了 Lottery Ticket Hypothesis 在分布转移下的稀疏子网络初始化及转移时的效果，并验证了这种初始化策略的归纳偏差可被应用于多个领域。

    Oct, 2019