May, 2023

标签词是锚点：信息流角度理解上下文学习

PDF
TL;DR本文通过信息流视角调查了示例中核心单词在对应学习任务中扮演的角色，并提出了一种锚点加权方法来提高学习效果，一种演示压缩技术来加速推断，并提出了一种分析框架来诊断 ICL 中的错误，并为未来的研究奠定了基础。
in-context learninglarge language modelsinformation flowanchor re-weightingdemonstration compression technique
发现论文，激发创造
  • 关于现场学习的调查

    本文概述了大型语言模型的新范式 —— 上下文学习，并探讨了训练策略和演示设计策略等高级技术，以及上下文学习所面临的挑战和未来方向。

    Dec, 2022

  • 上下文对齐能走多远？探索上下文对齐的现状

    通过分析 In-Context Alignment（ICA）的机制和适用性，本研究发现示例部分对提升模型对齐能力至关重要，同时还评估了 ICA 在不同对齐任务中的零 - shot 能力，结果显示相较于参数微调方法，ICA 在基于知识和工具应用任务上表现出更好的性能，然而在多轮对话和按指示执行任务方面仍存在某些局限性。

    Jun, 2024

  • 大型语言模型中的上下文学习学习标签关系但非传统学习

    通过研究源自于上下文的学习能力、预训练和标签关系对大语言模型性能的影响，我们的研究发现 LLMs 通常会整合上下文标签信息，但预训练和上下文标签关系被区别对待。同时，模型并不会同等考虑所有上下文信息，这些发现有助于理解和调整 LLM 的行为。

    Jul, 2023

  • 探究上下文学习行为：与监督学习的比较

    大型语言模型（LLMs）在上下文学习（ICL）方面展示了显着的能力，在没有明确预训练的情况下，仅通过少量的训练示例学习新任务。然而，尽管 LLMs 获得了成功，对于 ICL 如何从给定的提示中学习知识却知之甚少。在本文中，为了对 ICL 的学习行为有所了解，我们通过 ICL 和监督学习 (SL) 分别使用相同的演示示例训练相同的 LLMs，并研究它们在一系列分类任务中在标签扰动（即嘈杂标签和标签不平衡）下的表现。通过广泛的实验证明，我们首先发现黄金标签对下游上下文性能有显著影响，尤其是对于大型语言模型；然而，对于所有模型大小，不平衡标签对 ICL 的影响较小。其次，通过与 SL 进行比较，我们实证表明 ICL 对标签扰动的敏感性较低，并且随着模型大小的增加，ICL 逐渐获得与 SL 相当的性能。

    Jul, 2023

  • 具有大型语言模型的语境中感知歧义学习

    通过对三个文本分类任务的广泛实验，我们发现在选择演示示例时，不仅选择语义上相似的演示示例有益，还选择那些有助于解决测试示例周围固有标签模糊性的演示示例。有趣的是，我们发现包括之前被 LLM 错误分类并且与测试示例的决策边界相近的演示示例能够带来最大的性能提升。

    Sep, 2023

  • 迭代前向调整促进语言模型内部学习

    本研究提出了一种有效的、高效的两阶段方法来增强大型语言模型中的上下文学习，该方法利用 Transformer 注意力和梯度下降优化之间的双重形式，将上下文学习过程分为 'Thinking' 和推理阶段，通过递归前向优化演示来增强 LLLs 的推理能力，并且将得到的元梯度通过注意力应用于最终的输出预测中，从而有效地、高效地适应下游任务。

    May, 2023

  • 通过影响分析的上下文学习示范选择

    通过使用影响函数分析训练样本的影响力，我们提出了一种名为 InfICL 的演示选择方法，用于选择对 In-Context Learning（ICL）有高影响力的训练样本，从而提高 ICL 的泛化性能，并在多个实际数据集上展示了 InfICL 相对于现有基准方法的优点。

    Feb, 2024

  • 通过演示中的多标签词改进上下文学习

    通过使用多个标签词，并根据语言模型的输出分布选择和排序样本 - 标签对，可以提高上下文学习的性能，通过多样的标签信息改善性能。

    Jun, 2024

  • 多标签文本分类的上下文学习

    利用预训练的密集检索模型，我们在有限样本设置中的常见意图分类数据集上，以及特定情况下的细粒度情感分类中，优于微调性能。通过多个实验，我们分析了模型对于上下文示例和不同模型规模的利用情况，并展示了在不同领域中需要不同程度上下文示例的相似性、类名的语义内容和示例与标签之间的正确对应。

    Sep, 2023

  • 通过提示强化上下文学习唤醒大型语言模型以进行知识密集型任务

    提出了一种新的学习范式 —— 提示增强的上下文学习（Hint-enhanced In-Context Learning，HICL），通过从示范中提取与查询相关的知识，以更明确的方式提示大型语言模型（LLM），用于开放域问答，从而提高性能。

    Nov, 2023