Mar, 2024

FISH 基于数据导向的动态微调参数选择策略

PDF
TL;DR在这项研究中，我们采用以数据为导向的角度，提出了一种 IRD（迭代样本 - 参数范围减小）算法，用于搜索 Fish Mask 的最佳样本 - 参数对的设置。通过在 GLUE 基准上进行实验证明，我们的策略优化了参数选择并实现了更好的性能。
large language modelsparameter efficient fine-tuningparameter selection strategiesdata samplesird algorithm
发现论文，激发创造
  • 样本感知动态稀疏精调的统一低资源序列标注

    采用 FISH-DIP 方法，通过在低资源环境下优化模型并在序列标注任务中取得高达 40％的性能提升，成功地解决了基于大语言模型的序列标注问题中受限于数据量问题的挑战。

    Nov, 2023

  • 随机屏蔽找到参数高效微调的优胜票

    通过使用随机遮挡（Random Masking）方法，本研究探讨了参数高效微调（PEFT）的极限，展示了随机遮挡方法的出人意料的有效性，并证明了遮挡引导的损失平面更平缓、解决方案更分散，这使得可以使用更大的学习率来匹配标准 PEFT 算法在各种任务中的性能，而使用更少的可训练参数。

    May, 2024

  • 无需增加延迟的参数高效微调

    本文提出了一种任务不可知的生成稀疏掩码的方法，仅使用预训练参数的振幅信息，可以显著提高性能和存储效率，并引入了一种新颖的适配器技术，可以直接应用于预训练参数，与全细调速度相同。

    May, 2023

  • AdaFish：利用二阶信息进行快速低秩参数高效微调

    介绍了一种高效的 AdaFish 算法，用于加快在低秩分解为基础的微调框架中的训练过程，该算法证明了全局收敛性和迭代 / 预言机复杂性，并通过数值实验与 AdamW 方法进行了竞争性比较。

    Mar, 2024

  • 抛弃糟粕保留精华：关于大规模语言模型微调中的数据选择的思考

    大规模语言模型的数据选择旨在从给定的候选数据集中选择一个高质量的子集，以训练一个挂起的微调模型进而得到一个选择性增强模型，以提高模型性能并加快训练进程。通过深入的分析和综述，我们发现具有数据特定和模型特定质量标签的更具针对性的方法具有更高的效率，但在设计选择算法时应避免引入额外的噪声信息，并总结了数据选择的趋势并强调了未来研究所面临的短期和长期挑战。

    Jun, 2024

  • 视觉语言预训练模型参数高效微调的实证研究

    最近的研究应用了参数高效微调技术（PEFTs）来有效缩小预训练和下游任务之间的性能差距。该研究发现，对于与预训练一致的下游微调任务，数据规模不再影响性能，而可微参数规模的影响并不单调，这种观察可指导 PEFTs 的训练策略选择。

    Mar, 2024

  • HiFi: 高信息注意力头用于参数有效的模型调整

    本文提出了一种名为 HiFi 的参数高效的微调方法，即只微调与特定任务高度相关的信息丰富且高度相关的注意力头，该方法使用 PageRank 算法搜索显著的注意力头，实验证明 HiFi 方法在 GLUE 基准测试中获得了先进的性能。

    May, 2023

  • Light-PEFT: 轻量级参数高效微调通过早期修剪

    Light-PEFT framework enables efficient fine-tuning by pruning redundant parameters in the foundation model and PEFT modules, resulting in improved training and inference speed, reduced memory usage, and comparable performance to standard PEFT.

    Jun, 2024

  • Q-PEFT：大型语言模型中用于文本重新排序的查询相关参数高效微调

    通过引入查询依赖的参数高效微调方法，本文提出了一种文本重新排序的方法，通过泄漏真实查询信息给大型语言模型以使其更容易从输入文档中生成真实查询，从而进一步提高重新排序性能。

    Apr, 2024

  • 通过知识交互改善参数高效微调

    提出了一种新的 fine-tuning 框架，名为 GIST，通过引入 Gist token 和知识交互的概念，增强了 PEFT 方法在下游任务中的性能，进一步提升了预训练模型对下游任务的理解能力。

    Dec, 2023