Sep, 2023

表述对于背景学习的影响：对合成任务的探索

PDF
TL;DRTransformer 的 in-context 学习能力受到 in-weight component 和 in-context component 的影响，其中好的 in-weights component 有利于 in-context component 的学习，从 representation learning 的角度揭示了改进 in-context 容量的新方法。
in-context learningrepresentation learningin-weight componentin-context componenttransformer
发现论文，激发创造
  • 一个基于机制的数据依赖和突发学习的在情境分类任务的基础

    Transformer 模型表现出上下文学习：基于输入序列中的示例，准确预测对新查询的响应。研究讨论了训练数据分布和架构方面哪些因素支持上下文学习和传统的查询 - 输出关系学习。研究还提出了在简化数据集上训练的最小关注网络模型，阐明了上下文学习受到诱导头突然出现的驱动。该研究建议，基于注意力的网络的明显转折是由于实现上下文学习所必需的特定多层操作链引起的。

    Dec, 2023

  • IM-Context: 不平衡回归任务的上下文学习

    通过研究激励序列对模型性能的影响，本文强调了本地上下文在减少高度不平衡区域内的偏差中的重要性，并在多个真实数据集的情景中证明了在 - 有高度不平衡的情况下，上下文学习显著优于现有的权重学习方法。

    May, 2024

  • 探索上下文学习与组合泛化之间的关系

    通过在不同顺序的训练实例和打乱实例标签中训练模型，以测试强迫模型进行上下文学习对组成概括的促进作用的假设，研究表明，以这种方式训练的模型在组成概括方面确实显示出改进，证明了上下文学习问题作为归纳偏差用于概括的有效性。

    Mar, 2024

  • Transformer 在上下文中如何学习超越简单函数？学习表示的案例研究

    大型语言模型在转换器架构的基础上展现了卓越的上下文学习能力，本研究旨在深入了解更复杂的情境中的上下文学习，并通过研究表示学习来探索其机制和性能。

    Oct, 2023

  • 上下文学习的可学习性

    本研究提出了一个基于 PAC 理论的框架来探究上下文学习及其可学性，发现在语言模型的参数保持不变的情况下，通过将下游任务的训练示例包含在其输入中，可以调整模型以执行各种下游自然语言处理任务，预训练分布是潜在任务的混合时，这些任务可以通过上下文学习有效地学习，这种学习更多地是关于识别任务而不是学习任务，并希望这一研究框架为深入理解上下文学习的新学习范式打下基础。

    Mar, 2023

  • 一种基于上下文的突现学习理论：隐式结构归纳

    该研究探讨了大型语言模型的上下文学习能力及其理论机制，提出了基于自然语言数据中组合操作的信息理论边界，并从语言学角度验证了模型输出中间步骤的成功经验。研究表明，在缩放参数和数据并提示输出中间步骤时，模型能在多项任务中进行有效的上下文学习，这种学习得到的支持与其输入的组成结构有关。

    Mar, 2023

  • Transformers 在存储信息的上下文和权重方面存在不同的泛化能力

    本文研究 Transformer 模型的归纳偏差，发现预训练模型在处理稀少类似规则的数据时更倾向于基于规则的归纳，而在无监督学习上表现出基于例子的归纳偏差。

    Oct, 2022

  • 探索模型架构与上下文学习能力之间的关系

    模型架构与背景学习能力之间的关系，以及各种模型架构在背景学习任务中的表现能力和影响因素的实证研究。

    Oct, 2023

  • 深入探究上下文学习在分布偏移下的应用

    通过在不断变化的数据分布下比较转换器和基于集合的 Multi-Layer 感知机的表现，研究了上下文学习的一些普遍限制，发现转换器模型更准确地模拟了最小二乘法的性能，并且对于轻微的分布移位更具有鲁棒性，但在严重分布移位的情况下，两个模型的上下文学习能力都会减弱。

    May, 2023

  • 大型语言模型中的元上下文学习

    本文介绍了大型语言模型在上下文学习中的递归学习能力，即元上下文学习。作者以两个理想化的领域为例，展示了元上下文学习是如何适应性地重塑大型语言模型对预期任务的先验知识，并修改其上下文学习策略。最后，作者通过真实世界回归问题的基准测试发现，元上下文学习与传统学习算法相比具有有竞争力的性能。通过元上下文学习而不是传统的 finetuning 来纯粹地适应大型语言模型应用的环境，可以提高大家对上下文学习的理解，为大型语言模型的应用打下基础。

    May, 2023