自动调整：通过自学指导 LLMs 有效获得新知识

Jun, 2024

自动调整：通过自学指导 LLMs 有效获得新知识

Self-Tuning: Instructing LLMs to Effectively Acquire New Knowledge through Self-Teaching

Xiaoying Zhang, Baolin Peng, Ye Tian, Jingyan Zhou, Yipeng Zhang...

TL;DR通过自学习的方式，引入 Self-Tuning 学习框架以提高大型语言模型的新知识获取能力，通过加强文档的自监督任务，着重在记忆、理解和自反思三个关键方面，实现从原始文档中高效获取新知识，通过三个数据集进行对知识获取能力的深入分析，实验证明 Self-Tuning 在所有知识获取任务上保持出色的性能，并擅长保留先前的知识。

Abstract

large language models (LLMs) often struggle to provide up-to-date information due to their one-time training and the constantly evolving nature of the world. To keep LLMs current, existing approaches typically involve continued pre-training on new documents. However, they frequently fa

large language models self-tuning knowledge acquisition self-teaching feynman technique

发现论文，激发创造

语言模型能够在无外部监督的情况下自主学习

大语言模型（LLMs）在追求超人类表现时，传统上一直依赖于人类注释的数据集和预定义的训练目标 - 这是一种既费时又固有有限的过程。本文提出了一种变革性的方法：自主学习 LLMs，这是一种无监督学习范式，使模型摆脱了人类监督的限制。我们的方法使 LLMs 能够通过与文本的直接交互来自我教育，类似于人类阅读和理解文学。我们的实证结果表明，自主学习在综合实验中表现优于预训练、监督微调以及检索增强方法。这些发现突显了自主学习不仅可以提高 LLMs 训练的效率和效果，还可以为更先进、自主的人工智能系统的发展铺平道路。

Jun, 2024

知识感知的大语言模型微调

使用知识感知微调（KnowTuning）方法解决大型语言模型在自然语言处理任务中的知识感知不足问题，并在通用和医疗问答数据集上进行了广泛的实验证明了其有效性，并展示了其在未知问答数据集上的泛化能力。

Feb, 2024

经验调教语言模型优于知识学习者

通过在文档训练之前进行问答配对，提出了一种称为 PIT（pre-instruction-tuning）的方法，能够显著提高大型语言模型从新文档吸收知识的能力，比传统的指令调整方法的性能提高了 17.8%。

Feb, 2024

大型语言模型的自我演进调研

自进化方法是通往超级智能的大语言模型的训练范式，本文概述了大语言模型中自进化方法的综合调查，包括概念框架、演化目标、现有挑战和未来发展方向。

Apr, 2024

大型语言模型可自我提升

本文提出了一种方法，使用未标注的数据进行自我训练和推理提高，通过 fine-tuning 在多个任务上达到了 SOTA 水平。

Oct, 2022

通过减轻曝光偏差来更新大型语言模型的自我信息

本文对 LLMs 的自我信息更新任务进行了全面的研究，并评估了其持续微调方法。作者发现，普通的持续微调方法可能存在暴露偏差问题。因此，他们提出了一种有效的方法来缓解这个问题，进一步开发了新闻文章数据集来评估信息更新。实验结果表明，所提出的方法能显著提高事实一致性分数（0 到 1）0.16，对与新信息不直接相关的指令的性能几乎没有影响。

May, 2023

大型语言模型的持续学习：一项调研

该论文调研了关于大型语言模型（LLMs）的持续学习方面的最新工作，提出了一种新颖的多阶段分类方案，涉及持续预训练、指令调整和对齐；对 LLMs 的持续学习与更简单的小模型的适应方法以及其他增强策略进行对比；同时，在讨论基准和评估的基础上，提出了几个挑战和未来工作方向。

Feb, 2024

通过知识检测自我训练大型语言模型

该论文研究自训练范式，其中大型语言模型 (Large language models, LLMs) 通过自主策划标签并选择性地在未知数据样本上训练，以显著改善多个主题中生成中的虚构问题。此外，选择性训练框架在处理超出分布基准的灾难性遗忘时具有重要意义，解决了训练 LLMs 过程中的关键限制。我们的研究结果表明，这种方法可以大幅减少对大规模标记数据的依赖，为更可伸缩和经济有效的语言模型训练铺平了道路。

Jun, 2024

进入未知领域：自学习大型语言模型

我们提出了一种自学习 LLM 框架，通过对自身幻觉的自我评估，使 LLM 能够独立学习先前未知的知识。通过幻觉评分，我们引入了一个新概念 Points in The Unknown（PiUs），以及一种外在和三种内在的自动 PiUs 识别方法，从而在 Points in The Unknown 的知识差距中创建一个自学习循环，从而减少幻觉评分。我们还开发了评估指标来衡量 LLM 的自学习能力。我们的实验表明，经过微调或调整的 7B-Mistral 模型具有相当好的自学习能力。我们的自学习概念可以实现更高效的 LLM 更新，并为知识交流开辟新的视角，这也可能增加公众对 AI 的信任。

Feb, 2024

通过自我对话增强基于 LLM 的任务导向对话系统

通过使用大型语言模型进行自我对话的方法可以改进对话质量并生成用于训练的自我对话数据集。

Jan, 2024