Sep, 2023

自我专业化：揭示大型语言模型中的潜在专长

PDF
TL;DR通过自我对齐可以在专业领域中提高零样本和小样本性能，利用特定领域的无标签数据和一些标记的种子进行自我特化，有效地从预训练大型语言模型中提取出专家模型。
self-alignmentexpert domain specializationzero-shot performancefew-shot performanceself-specialization
发现论文，激发创造
  • 无人工指导的有限样本 LLM 自校准

    我们研究了如何在样本有限的情况下，通过使用上下文学习示例和迭代调整算法，自动对齐大型语言模型，以实现几乎不需要人工监督的自我泛化对齐能力。

    Jan, 2024

  • 指导反向翻译的自对齐

    我们提出了一种可扩展的方法，通过自动标记人工编写的文本与相应的指令来构建高质量的指令跟随语言模型。我们的方法命名为指令反向翻译，使用少量种子数据和给定的网络语料库对语言模型进行微调，通过为网络文档生成指令提示来构建训练样本（自助增强），然后从这些候选样本中选择高质量的例子（自我策划）。然后使用这些数据对模型进行微调。对 LLaMa 进行两次迭代的微调可以得到一个模型，它在 Alpaca 排行榜上性能优于其他基于 LLaMa 的模型，并且不依赖蒸馏数据，展示了高度有效的自我对齐。

    Aug, 2023

  • 自我指导：用自动生成的指令对齐语言模型

    使用 Self-Instruct 框架，可以将预训练模型与指令对齐，提高模型的指令遵循能力，无需过多人为指令数据，可用于 finetuning，大大提高了模型的通用性。

    Dec, 2022

  • 自主驱动的语言模型从零开始的最小人工监督自我对齐

    研究提出了 SELF-ALIGN 方法，利用少量人工监督和结合原理驱动推理和 LLM 的生成能力，实现 AI 助手的自我对齐，减少人工监督的依赖，获得更好的性能，开发了 Dromedary AI 助手。

    May, 2023

  • 通过从头开始训练领域知识来匹配领域专家

    通过领域特定的自回归训练方法，在小型的 GPT-2 模型上训练神经科学文献，可以实现即使在小规模的语言模型上也能达到专家水平的性能表现。

    May, 2024

  • 自问自答：无监督知识引导的语言模型对齐

    本文介绍了一种称为 Self-QA 的创新框架，利用大量无监督知识代替传统的人工撰写指导文件种子，从而生成更多正确和特定于领域的指导数据，以克服创建用于指导调整的监督配对问答数据所面临的挑战。

    May, 2023

  • 超越一模型适用于所有场景：大型语言模型领域特化调查

    本论文提出了一个系统化的分类方法，将 LLMs 领域专业化技术分类，并讨论了适用于这些技术的关键应用领域的问题和前景，对当前研究状态和未来趋势进行了深入剖析。

    May, 2023

  • 自我驱动的语言模型大规模自我演进

    使用自我进化与语言反馈的创新方法，自主学习和发展自主人工智能的关键，使大型语言模型在不同领域展现出了非凡的适应能力。

    Oct, 2023

  • Instruct-Align：基于对齐的跨语言教学，教授 LLMs 的新语言

    本研究提出了 Instruct-Align 框架，通过对称对齐方法的跨语言指导调整，使大语言模型 (LLMs) 能够有效地学习新语言，同时通过经验重现防止灾难性遗忘，并能将低资源语言纳入到现有的 LLMs 中。

    May, 2023

  • 训练专家语言模型带来的益处：比指令调整更胜一筹

    本文研究发现，相对于使用多个任务的 multitask-prompted fine-tuning 方法进行指导调整的语言模型，仅针对单个任务进行专家模型的 fine-tuning 能够使模型在 11 个不同的未知数据集上以及 13 个 BIG-bench 基准测试数据集上平均准确率分别提高 3.20% 和 1.29%。此外，分别训练每个专家模型而不是单个 MT LM 进行 zero-shot 推断具有许多好处，包括避免负面任务转移，能够持续学习新任务而无需重新训练以避免灾难性遗忘以及显示在合并单个专家时具有组合能力。

    Feb, 2023