ICLRDec, 2023

有监督的知识提升大语言模型在上下文学习中的表现

PDF
TL;DR通过提示工程，大型语言模型（LLMs）展示了在上下文学习中的新兴能力。最近在大规模生成模型方面的进展进一步扩展了它们在实际语言应用中的使用。然而，在自然语言理解和问题回答方面，提高 LLMs 的泛化能力和准确性的关键挑战仍未得到充分探索。
large language modelsprompt engineeringin-context learningtask-specific fine-tuned language modelsdiscriminative models
发现论文，激发创造
  • 语言模型利用交叉任务上下文学习解决数据稀缺的新任务

    该研究论文探讨了大型语言模型 (LLMs) 是否能够根据不同任务示例的上下文信号来解决新任务，并设计了一个跨任务提示设置，并表明 LLMs 在无需上下文提示的情况下能够获得显著的性能提升，同时展示了模型激活相似性与跨任务示例效果之间的强相关性。

    May, 2024

  • 基于知识增强的大型语言模型个性化上下文查询建议

    通过与用户与搜索引擎的交互历史相关的上下文，我们提出了一种新颖且通用的方法，用于个性化输出，这对于理解用户当前的搜索背景以及他们历史上知道和关心的内容是必要的。我们验证了我们的方法在上下文查询建议的任务上优于几个其他 LLM 基准方法，生成了在上下文中更相关、个性化和有用的查询建议。

    Nov, 2023

  • 隐私保护上下文引导增强小型医学学习者

    本文提出了一种简单而有效的方法，通过从医疗数据中提取关键词并模拟临床医生的思维过程，从而缓解患者隐私问题，增强小型语言模型在医学任务中的决策能力，最终在受隐私限制的情境下取得了新的结果，并在两个医学任务中达到了新的最高水平

    May, 2023

  • 利用大型语言模型进行临床自然语言处理中基于无知识弱监督的优化

    使用弱监督和微调大型语言模型（LLM）的方法，在几乎没有领域知识的情况下，能够在性能上显著优于传统的有限的标准数据的监督方法，利用基于提示的方法，LLM 生成弱标记数据来训练下游的 BERT 模型，然后将弱监督模型进一步在少量的标准数据上进行微调，通过评估发现该方法优于 out-of-the-box PubMedBERT 4.7% 至 47.9% 的 F1 得分。

    Jun, 2024

  • 大型语言模型可能是懒惰学习者：在上下文学习中分析快捷方式

    本篇研究旨在探索语言模型的泛化能力，结果表明语言模型更可能利用提示中的快捷方式，尤其是模型变得很大时。

    May, 2023

  • 通过利用不确定性感知型上下文学习提高大型语言模型的可靠性

    通过引入一种不确定性感知的上下文学习框架，我们改进了大规模语言模型的响应质量，并过滤掉具有较高不确定性的答案，从而提高了模型的准确性。

    Oct, 2023

  • 大型语言模型是否能理解上下文？

    理解上下文是理解人类语言的关键，本论文介绍了一个上下文理解基准，通过适应现有数据集来评估生成模型的能力，并发现预先训练的稠密模型在理解复杂上下文特征方面比优化调整模型困难。

    Feb, 2024

  • LogicLLM: 探索基于自监督逻辑增强训练的大型语言模型

    本篇论文主要介绍了如何通过自监督后训练和上下文学习来增加逻辑知识，从而提高语言模型的逻辑推理能力，取得了比现有基线更好的效果。

    May, 2023

  • 背景问题：为科学应用数据高效扩充的大型语言模型

    本文研究了大型语言模型（如 GPT-4）存在的挑战，特别是在回答复杂问题时容易出现错觉、逻辑错误和错误结论的问题。语言模型能以一种连贯且语义严谨的方式呈现错误答案的能力进一步增加了发现事实不准确性的困难。这个问题在需要专业知识的领域尤为明显。我们的工作深入探讨了这些挑战，旨在增强对此类错误的理解和缓解，从而提高科学和其他专业领域中 LLMs 的准确性和可靠性。我们的研究结果揭示了上下文相关性与答案质量之间的非线性关系。此外，我们证明了在正确校准的情况下，可能实现自动评分 —— 这一发现表明，至少在某种程度上，LLMs 可以用于自我检验其性能质量。最后，我们描述了一个实验平台，可以被视为对本文描述的技术的概念验证。

    Dec, 2023

  • 生成上下文感知的自监督语音模型微调

    使用生成式的上下文感知微调方法，该方法通过生成文本来提取上下文信息并改善模型预测能力，无需真实前文或语言模型在推断时的访问，且只需一个非常小的附加上下文模块，并在自监督语音模型的微调过程中进行提取和蒸馏。

    Dec, 2023