Mar, 2024

教育背景下集成强先验模块和数据重叠估计的三阶段 SFT 混合模型

PDF
TL;DR我们提出了一个基于先验的端到端三阶段监督微调模型，它证明比传统的微调方法更有竞争力。我们的模型通过一个采样器和重叠估计神经网络来稳固三类数据分类，并将预处理数据集分三批注入预训练模型进行 LORA 微调。然后，我们设计了一个先验模块耦合系统提示、向量数据库和抽象语法树任务分割。最后，对基于先验的微调模型应用压缩方法和正则化约束，并在输出端进行文本过滤以获得逐步增量式的引导结果。我们的模型是首个真正具备丰富教育知识、逐步增量引导输出和答案保密等特征的导师角色研究的努力。广泛的实验表明，与开源模型相比，我们的模型在编码能力方面也达到了最先进水平，在 HumanEval (@pass 1) 基准测试中取得了令人印象深刻的 75.10%。此外，我们的模型具有强大的对话能力，13B 量化版本在 MMLU、C-Eval 和 AGIEval (5 shot) 对话评估基准测试中分别达到了 56.34、50.60 和 45.27 的分数。
发现论文，激发创造
  • 面向边缘与云计算协作学习的高效分裂微调框架

    提出了一种基于矩阵分解、去除链路和 PyTorch 实现的高效边缘和云协同学习框架，能够在边缘设备上进行本地数据的微调，使得通信量比常规方法减少 96 倍，并且对模型精度影响小。

    Nov, 2022

  • GRASS: 语音语义理解统一生成模型

    该论文通过引入统一的端到端（E2E）框架，对语音语义理解任务进行了指令微调技术的探索，该框架在语音数据上生成与任务相关提示条件下的语义标签。实验证明，我们提出的模型在微调下游任务后显著优于最先进的模型，并且在零样本和少样本情况下取得了有竞争力的性能。为了促进未来对语音到语义任务的指令微调工作，我们发布了我们的指令数据集和代码。

    Sep, 2023

  • 让预训练语言模型成为更好的少样本学习者

    LM-BFF 提出了一种改进的面向小型语言模型的少样本 fine-tuning 方法以提升在多种 NLP 任务上的性能。通过与传统的 fine-tuning 方法相比，LM-BFF 组合的技术在低资源环境下具有显著改进，最高可达 30％，平均提高 11％。

    Dec, 2020

  • 爱丁堡临床自然语言处理在 SemEval-2024 任务 2 中：在没有使用 GPT-4 的情况下优化您的模型

    通过合并使用三元组和语言建模目标单独进行微调的适配器，提出了一种用于改进大型语言模型（LLMs）一致性的 PEFT 方法。然而，与 GPT-4 相比，我们的新方法在忠实度和一致性方面没有产生更准确的结果。综合三个度量指标，GPT-4 在比赛中以 0.8328 的分数并列第一。最后，通过与 GPT-4 的污染分析，表明没有测试数据泄露。

    Mar, 2024

  • 改进和解释预训练语言模型的语言专家混合适配器

    本研究提出了一种方法，在参数高效微调（PEFT）环境中将语言结构注入到预训练语言模型中。我们使用一种新颖的语言专家混合体架构，将编码不同语言结构的并行适配器模块进行组合，并使用 Gumbel-Softmax 门来确定模型每一层中这些模块的重要性。为了减少参数数量，在修剪专家之前，我们首先对模型进行了固定步骤的训练。我们用三种不同的预训练模型进行实验，结果表明我们的方法在具有相当数量的参数的情况下，能够胜过最先进的 PEFT 方法。此外，我们还提供了额外分析，以检查和提供未来研究的见解。

    Oct, 2023

  • 迈向具备预训练的持续学习通用框架

    通过使用预训练的方法，我们提出了一个通用的框架来持续学习连续到达的任务，从一个理论的角度，我们将其目标分解为三个层次的组成部分，包括任务内预测、任务标识推断和任务适应预测，并提出了一种创新的方法来显式优化这些组件，通过参数高效的微调技术和表示统计量，我们在下游连续学习中实证展示了我们方法的优越性和普遍性，并进一步探讨了在上游连续学习中应用参数高效的微调技术的可行性，同时结合神经科学中的最新进展，讨论了所提框架的生物学基础。

    Oct, 2023

  • Context-PEFT: 高效多模态、多任务微调

    提出了一种用于多模态、多任务迁移学习的新型参数高效调参方法（PEFT）框架，它通过 LoRA、BitFit 和 IA3 等技术，在几乎不需要可训练参数和 GPU 内存的情况下，展示了与预训练模型完全微调相当的性能，然而，在多模态微调中，经常需要进行架构修改或完全微调。为了解决这个问题，我们提出了 Context-PEFT，它根据令牌的领域学习不同的适配器参数组，这种方法使得可以实现类似 LoRA 的权重注入，而不需要额外的架构修改。我们的方法在 COCO 字幕任务上进行评估，在类似的数据限制下，优于完全微调，并同时提供了更高的参数效率和计算经济性的解决方案。

    Dec, 2023

  • 监督微调进一步提升视觉基础模型

    图像 - 文本训练如 CLIP 已经在近年来直接影响了视觉基础模型的预训练。本文提出了一种名为 ViSFT（Vision SFT）的两阶段方法，通过对一些领域内任务进行视觉联合学习，进而增强视觉基础模型的精细知识。该方法在 8 个 V100 GPU 上不到 2 天的时间内使用 ViSFT 进行更新，展示了一个带有超过 4.4B 参数的视觉转换器在包括视觉和视觉 - 语言场景在内的各种领域外基准测试中的改进。

    Jan, 2024

  • UL2: 统一语言学习范式

    提出一个统一框架的预训练模型，通过 Mixture-of-Denoisers 目标函数实现不同预训练目标的整合，将不同的预训练范例结合在一起，对于多个不同领域的数据集都具有普适性，并在规模为 20B 参数下的 50 个 NLP 任务上取得了最先进的表现。

    May, 2022

  • POUF: 面向提示的无监督微调大规模预训练模型

    本研究提出一种无监督的精调框架，用于快速和直接地向未标记的目标数据进行深度学习模型的预训练，并在图像分类、情感分析和自然语言推理任务中实现了持续的改进。

    Apr, 2023