ACLMar, 2022

探究微调模型时数据大小的重要性

PDF
TL;DR研究表明优化 Fine-tuning 效果的原因是 Fine-tuning 的数据集大小，同时数据集大小会影响编码的语言知识程度，而且数据集大小主要影响神经网络的高层，且这种影响程度跟 Fine-tuning 迭代次数有关。
fine-tuningdataset sizelinguistic knowledgeprobing performancemodel update
发现论文，激发创造
  • 关于探测的数据需求

    本研究探索寻找一种数量化方法，以估算合理的探测数据集大小，旨在构建一个系统性的诊断神经自然语言处理 (NLP) 模型探测数据集的框架。通过几个案例研究，我们验证了我们的估算具有足够的统计功效。

    Feb, 2022

  • 预训练变压器中微调和句子级探测在语言知识中的相互作用

    本文研究了 BERT、RoBERTa、ALBERT 三个预训练模型在句子级探测下，微调如何影响它们的表示。发现微调对于探测任务的准确性有着重大影响，但不同模型和任务的影响有所不同。在发现微调对于探测有着积极或消极的影响时，需进行慎重解释。

    Oct, 2020

  • 利用探测预测微调性能

    本研究探讨了使用轻量 Probing 方法去解释 NLP 模型内在机制的方法，通过对三项探测测试的准确性精确预测了模型的调优表现，为 NLP 模型的发展提供了可能。

    Oct, 2022

  • 能否利用探测来更好地理解 BERT NLU 的微调和知识蒸馏？

    本论文通过 probing 调查 fine-tuning 和 knowledge distillation 过程中，BERT 基础的自然语言理解（NLU）模型出现的现象。实验结果表明，当前形式的 probing 范式不适合回答这些问题，因此，信息可解码的量化是探测范式在许多实际应用中至关重要的。

    Jan, 2023

  • 了解模型大小如何影响少样本指示提示

    研究了大型语言模型的记忆与遗忘现象及其与模型大小的关系，通过引入 DeltaWords 数据集证明在少量给定指令的情况下，随着模型大小的增加，任务准确率呈反比例降低趋势，但增加示例数量则更有利于大型模型。

    Dec, 2022

  • 语言模型需要多少预训练数据才能学习语法？

    本研究探讨了预训练数据大小对 RoBERTa 模型的句法能力及其在下游应用中的影响，并分析了训练此类模型的成本效益权衡。结果显示，虽然预训练数据大小的增加会显著提高模型的句法能力及在下游任务中表现，但这也带来了更高的经济和环境成本。

    Sep, 2021

  • 原型微调：实现在数据大小变化下的强大性能

    本文提出了原型微调框架，结合大的参数模型和非参数模型，通过对预训练语言模型进行微调，自动学习偏差，提高预测性能，并提出了四个原则，以向最优解效果调整原型。实验结果表明，在各种低资源情况下，我们的方法在不降低性能的情况下取得了显着的性能提升。

    Nov, 2022

  • 语言模型的核心数据规模：一种全面理解的视角

    通过研究数据规模，我们发现了语言模型从快速记忆到慢速泛化的临界点，提出了数据效率假设并确定了语言模型训练中的数据不足、充足和过剩阶段。我们开发了一种配置方法来稳定地在简化语言模型中达到这种理解。实验结果显示，只有当语言模型达到一定的关键尺寸时才会发生泛化，我们对样本和模型进行了分析，验证了数据效率假设。我们的研究深化了对语言模型训练的理解，并提供了一个新的视角来解释数据在语言模型学习机制中的作用。

    Jan, 2024

  • 探究指令数据比例对大型语言模型的影响：基于实际应用案例的经验研究

    本文探讨了指令调整对大型语言模型性能的影响，并在在线应用案例中通过增加不同比例的指令数据探究了模型的表现。结果表明，增加指令数据可改善某些任务的表现，但对于数学和代码等任务，增加数据规模的改善效果不明显。

    Mar, 2023

  • 视觉语言预训练模型参数高效微调的实证研究

    最近的研究应用了参数高效微调技术（PEFTs）来有效缩小预训练和下游任务之间的性能差距。该研究发现，对于与预训练一致的下游微调任务，数据规模不再影响性能，而可微参数规模的影响并不单调，这种观察可指导 PEFTs 的训练策略选择。

    Mar, 2024