通过使用大规模语言模型，我们提出了一种新的框架，通过从语言模型教师代理接收指导行为，训练一个小规模专用的学生代理。通过将语言模型的先验知识融入到本地学生模型中，该学生代理可以用较少的数据进行训练，并通过环境反馈进一步提升其能力。实验结果表明，我们的方法提高了样本效率，并实现了比基准方法更卓越的性能。

Nov, 2023

通过提出一个三组件框架，利用自洽性、鉴别性和教师的不确定性作为学生培训的三种信号，我们在资源受限、教师性能不完美的场景中提高了样本效率。实验证明，相较于没有任何信号进行微调的情况，我们提出的两阶段框架平均带来了 20.79% 左右的相对提升，适用于四个复杂推理任务。

Jun, 2024

该研究介绍了创新的 “LLMs 作为教师” 的框架，利用先进的大型语言模型（LLMs）自动增强较小目标模型的训练。采用 “学习错误” 理论启发，该框架使用教师 LLM 细致分析目标模型中的具体错误，促进有针对性和高效的训练周期。通过 “学习错误” 和 “对比学习从错误中学习”，该框架实施了两种策略，分别关注错误响应以个性化训练数据，并分析正确和错误响应以更深入理解错误。使用多个开源模型进行的实证研究表明，在数理推理、编码能力和事实知识等多个基准测试中都取得了显著的改进。值得注意的是，改进后的 Llama-3-8b-Instruction 的表现超过了 ChatGPT，证明了我们方法的有效性。通过充分利用两种策略的优势，我们在领域内外基准测试上获得了更加平衡的性能提升。我们的代码可在此 https URL 找到。

Jun, 2024

通过系统性可控实验，我们研究了互动交互对神经语言学习的影响，发现通过教师示范和学生尝试，互动式语言学习有助于语言模型的词汇学习效率提高。

May, 2024

该研究提出了一种新的生成代理框架 EduAgent，结合认知先验知识来引导大型语言模型首先推理各种行为之间的相关性，然后进行模拟，实现对真实学生和虚拟学生学习行为的模仿、预测和生成。

Mar, 2024

通过基于原则发现的教师 - 学生框架，我们在大型语言模型中有效传递推理能力，并通过对八项推理任务的广泛实验证明，相比于标准的推理提示，TPD 显著提高了学生模型的性能，平均提升了 6.2%。

Jan, 2024

LaMDA 是一种专门用于对话的基于 Transformer 的神经语言模型，其具有高达 137B 的参数，并使用公共对话数据和 Web 文本预训练。它具有先进的优化技术，能够解决安全性和事实基础等关键挑战，以及能够在教育和内容推荐领域发挥积极作用。

Jan, 2022

通过利用大型语言模型，InstructTODS 提供了一种零训练样本的端到端任务导向式对话系统的框架，可以适应多样领域并有效地将用户意图转化为查询，而且在帮助性、信息性和人性化方面明显优于黄金标准回复及现有技术的 TODS。

Oct, 2023

为了推动自动化任务导向对话系统的评估，本研究提出了一种基于预训练语言模型的新型用户模拟器，并通过上下文学习来生成具有鲁棒性和语言多样性的输出，以模拟人类对话行为。通过与现有对话系统交互，并收集人机交互数据集，验证了该用户模拟器在单一意图对话目标方面的表现与人类相似。

Sep, 2023

通过使用 GPT-3，本文提出了一种名为 LAD 的数据范式，用于创建多样化和准确的合成数据，以训练下游神经对话模型，实现零 - shot 泛化，并在意图预测、槽填充和下一步行动预测方面实现了显著的性能提升。同时通过交互式人类评估表明，与人类对话训练相比，使用 LAD 训练的效果是有竞争力的。

Jul, 2022