Feb, 2024

KS-Lottery: 查找多语言模型的认证彩票

PDF
TL;DR通过使用 Kolmogorov-Smirnov 检验分析微调前后的参数分布变化，我们提出了 KS-Lottery 方法，以识别在多语言微调中非常有效的少数 LLM 参数集。我们进一步从理论上证明了 KS-Lottery 可以在嵌入层中找到被证实的中奖票，使用这些参数进行微调可以保证与全面微调相同的性能表现。与其他参数高效调整算法在翻译任务上相比，实验结果显示 KS-Lottery 在找到的参数集上进行微调，可以获得与全面微调 LLM 相当的性能，同时参数数量较少。令人惊讶的是，我们发现微调 LLaMA 中的 18 个标记的嵌入层就足以达到微调翻译性能。代码和模型将向公众发布。
lottery ticket hypothesiswinning ticketsks-lotterymultilingual fine-tuningembedding layer
发现论文，激发创造
  • 使用奖励和多语言进行彩票游戏：在强化学习和自然语言处理中使用的彩票

    该论文评估了 'lottery ticket' 初始化方法在自然语言处理和强化学习领域中的应用，研究发现该方法可以大大提高深度神经网络的性能和压缩效果。

    Jun, 2019

  • 预训练语言模型中的超级票：从模型压缩到提高泛化能力

    该研究探讨了 Lottery Ticket Hypothesis 理论，在预训练语言模型这样极度超参数化的模型中，如何通过压缩 ratio 选定一组 “winning tickets” 子模型来匹配全模型的性能。另外观察到当 compression ratio 达到某个临界点时，性能会出现相位转变现象，我们称此时被删减对临界点最立竿见影的超票为 “super tickets”，实验证明它们对 BERT-base 和 BERT-large 的单任务微调平均得分分别有 0.9 和 1.0 的提升，多任务学习时的共享也取得了提升。

    May, 2021

  • 视觉和语言中的抽奖券玩法

    本文通过实证研究发现，大规模的预训练 VL 模型中存在可训练的子网络，该子网络可通过精细修剪结构实现高精度计算并具有良好的通用性。

    Apr, 2021

  • 彩票适应性：减轻 LLM 中的破坏性干扰

    Lottery Ticket Adaptation (LoTA) is a sparse adaptation method for large language models that improves performance on multiple tasks by optimizing a sparse subnetwork, mitigating catastrophic forgetting.

    Jun, 2024

  • 预训练语言模型的强大抽奖票

    本文提出了一种基于学习二进制权重掩码的新方法，用于识别原始 PLM 中隐藏的强健 Ticket，并设计了一个对抗性损失目标来引导寻找强健的 Ticket，并确保票据在准确性和鲁棒性方面表现良好。

    Nov, 2022

  • 通过获胜的中奖策略有效促进小型语言模型进行跨语言任务

    Lottery Ticket Prompt-learning (LTP) framework integrates winning tickets with soft prompts to enhance the efficacy of small-sized models, particularly targeting low-resource languages.

    Apr, 2024

  • 深度生成模型中的中奖彩票

    本研究证实了 Lottery Ticket Hypothesis 可适用于 deep generative models 并提出了一种寻找 winning tickets 的有效方法，同时发现这些 winning tickets 有跨模型的传递性，因此可以帮助训练多种深度生成模型，并通过 early-bird tickets 的方式可以大幅减少训练时间和 FLOPs。

    Oct, 2020

  • 彩票 “中奖券” 真的中了大奖吗？—— 对 “中奖券” 的合理性检验

    本文重新定义了 Lottery Ticket Hypothesis 的概念，并通过大量实验进一步证明了优化超参以及架构特性和中奖模型的相关性，提出了相应的参数设置指南，以促进 Lottery Ticket Hypothesis 领域的研究进展。

    Jul, 2021

  • LOFT: 通过逐层过滤训练查找彩票券

    本文研究了 Lottery Ticket Hypothesis，并提出了一种称为 LOttery ticket through Filter-wise Training 的卷积神经网络预训练算法来识别优秀的 filters 并减少预训练的内存和通信成本，同时保持甚至提高了准确度。

    Oct, 2022

  • Doge Tickets：通过刮刮乐发现领域通用语言模型

    本文为了寻求一种领域通用的语言模型，提出从预训练语言模型中鉴别领域无关的参数，实现利用 Doge tickets 方式来提高文本在不同领域上的推广性能优化。通过实验验证表明，将中性参数组成领域通用的语言模型可以得到更好性能。

    Jul, 2022