Oct, 2023

稀疏人力监督下的交互多保真度学习，实现经济有效的语言模型适应

PDF
TL;DR我们提出了一种新颖的交互式多保真度学习（IMFL）框架，用于在有限标注预算下以低成本开发小型领域特定的大语言模型，通过平衡低保真度自动标注和高保真度人工标注之间的最佳获取策略，杂质高显学习先进医学和金融任务，在有限的人工标注预算下，IMFL 比人工标注基线在所有四个任务中表现出更好的性能，其中两个任务的性能接近人工标注。
large language modelsinteractive multi-fidelity learningdomain-specific tasksannotation costsmodel performance
发现论文，激发创造
  • 通过 LLM 驱动的主动学习和人工标注来增强文本分类

    该研究引入了一种新的方法，将人工标注和大语言模型（LLMs）与主动学习框架结合，以在数据标注的成本效益和分类性能之间取得最佳平衡。实证结果表明，在降低数据标注成本的同时，模型准确性得到了保持或提高。

    Jun, 2024

  • 利用语言反馈模型进行政策改进

    我们引入了语言反馈模型（LFMs），用于在指令跟随的模仿学习中识别理想行为 - 有助于实现指令中所述任务的行为。通过使用 LFMs 识别理想行为进行模仿学习，我们改善了在三个不同的语言基础环境（Touchdown、ScienceWorld 和 ALFWorld）上强大的行为克隆基线的任务完成率。同时，与使用 LLMs 直接预测动作相比，LFMs 在控制 LLMs 输出令牌数量的情况下取得了更好的效果。LFMs 具有泛化到未见环境的能力，通过一轮适应提高了 3.5-12.0% 的任务完成率。最后，LFM 可以进行修改以提供具有人类可解释性的反馈，而不会损失性能，从而允许人类验证模仿学习中的理想行为。

    Feb, 2024

  • 大规模语言反馈训练语言模型

    利用语言反馈进行模仿学习 (ILF) 是一种新方法，可以有效提升大型预训练语言模型的摘要性能，并比使用对比反馈或人工摘要的方法更好。

    Mar, 2023

  • 大型语言模型作为注释器：在最小成本下增强 NLP 模型的泛化能力

    研究使用大型语言模型对输入进行注释以提高自然语言处理模型的泛化性，并提出一种基于模型预测得分差异的采样策略来重新训练模型，证明在分类和排名任务中取得了显著的精度提高。

    Jun, 2023

  • 超越任务性能：通过上下文学习评估和减少大型多模态模型的缺陷

    基于 Flamingo 架构的 8 个近期开源 LMMs 在 5 个不同的维度中评估了他们的缺陷，并研究了在上下文学习 (ICL) 方面的解决方案，提出了 Multitask-ICL、Chain-of-Hindsight-ICL 和 Self-Correcting-ICL 等新的多模态 ICL 方法。

    Oct, 2023

  • 利用混合自然语言反馈对语言模型进行微调的 LaFFi

    该论文介绍了一种名为自然语言反馈微调 LLM（LaFFi）的替代方法，通过要求 LLM 直接预测从评注者那里得到的反馈，显著提高了领域内问答任务的准确性，为自然语言反馈在 SFT LLMs 领域的应用提供了一个有前途的方向。

    Dec, 2023

  • 有监督的知识提升大语言模型在上下文学习中的表现

    通过提示工程，大型语言模型（LLMs）展示了在上下文学习中的新兴能力。最近在大规模生成模型方面的进展进一步扩展了它们在实际语言应用中的使用。然而，在自然语言理解和问题回答方面，提高 LLMs 的泛化能力和准确性的关键挑战仍未得到充分探索。

    Dec, 2023

  • 通过自然语言反馈训练，改进代码生成

    本文提出了一种基于自然语言反馈的训练算法 ILF 并在神经程序综合任务中证明了其有效性，ILF 只需要少量人工编写的反馈意见就能提高 LLM 的表现，并且比仅仅基于演示训练的方法更有效和更节省样本。

    Mar, 2023

  • 基于深度学习的视觉 - 语言任务统一框架

    通过引入 pool-adapter 模块，保留视觉嵌入的位置信息，我们的 InfMLLM 方法在图像描述、视觉问题回答和视觉定位等任务中达到了与最新的多模态大语言模型相当或超越的性能。

    Nov, 2023

  • FreeAL：大语言模型时代的无人主动学习

    在大型语言模型时代，我们提出了创新的协作学习框架 FreeAL，通过与 LLMs 交互式提取和过滤任务特定知识，显著提高了 SLM 和 LLM 的零样本性能，无需人工监督。

    Nov, 2023