Nov, 2023

位置信息对于不变上下文学习至关重要：简单函数类的案例研究

PDF
TL;DR深入研究了在上下文学习中的限制和成功原则，并通过比较变压器和 DeepSet 架构以保持重要的离域学习不变性的区别，发现保持离域学习不变性对于成功的下一次时关键的。
in-context learningicltransformersdeepseticl invariance
发现论文，激发创造
  • 上下文化学习创建任务向量

    使用全面实验证明，In-context learning 通常具有非常简单的结构，即对应于仅有查询 x 和从训练集计算得到的单个 “任务向量” 的 Transformer LLM，可将训练集 S 压缩为单个任务向量 θ(S)，并使用该任务向量来调节 Transformer 以产生输出。

    Oct, 2023

  • Transformer 在上下文中如何学习超越简单函数？学习表示的案例研究

    大型语言模型在转换器架构的基础上展现了卓越的上下文学习能力，本研究旨在深入了解更复杂的情境中的上下文学习，并通过研究表示学习来探索其机制和性能。

    Oct, 2023

  • 由标签分布指导的上下文示例排序

    通过优化问题，研究通过预训练语言模型的上下文学习中的示例排序，以提高文本分类的准确性和选择更好的上下文示例。

    Feb, 2024

  • 转换器作为算法：上下文学习中的泛化和稳定性

    本文介绍了 in-context learning (ICL) 的概念和算法及其在 multitask learning 领域的应用，提出了使用 transformer model 的方式，详细探讨了 ICL 在 i.i.d. 和动态数据下的泛化界限及其稳定性，以及任务复杂度和 MTL 任务数量对转移学习风险的影响。最后，提出了数值评估，并验证了理论预测。

    Jan, 2023

  • 背景下的学习表现具有普适性，但并非始终稳定：以语法为例

    在本研究中，我们通过对语法敏感性的测试案例来研究通过上下文学习监督的大型语言模型的鲁棒性，并调查模型的预训练语料库组成和监督方法对模型变异性的影响。我们发现，相较于模型大小，模型在这一基本语言现象上的变异性更多地受到预训练语料库组成和监督方法的影响。同时，我们还发现，在代码上进行预训练的模型更好地推广，并在更大程度上受到思维链提示的益处。

    Nov, 2023

  • 从上下文不确定性量化中对上下文学习能力的更好理解

    本文研究了 Transformer 在线性回归任务上的训练，考虑了条件期望和条件方差的双目标预测任务，提供了不确定性量化目标，并揭示了训练 Transformer 接近贝叶斯最优的理论性质，以及在处理任务转移时表现不同于贝叶斯推断的能力。

    May, 2024

  • 上下文语言学习：结构和算法

    通过研究在背景语境中的大规模神经语言模型对正则语言的学习，我们展示了 Transformers 相对于递归或卷积模型在 in-context 语言学习任务上的显著优势，并提出硬连接高阶归纳头到递归和卷积模型可改善这个任务和自然语言建模的性能。

    Jan, 2024

  • 关于共现、位置信息和噪音结构的作用：从无结构数据的训练中产生上下文学习

    通过建模共现信息使用经典语言模型如连续词袋模型，我们理论上证明并实证验证了不监督训练对于上下文学习的产生方式，同时我们提出了一些 ICL 失败的情况并给出了理论解释。

    May, 2024

  • Transformers 作为统计学家：具有证明的上下文学习和上下文算法选择

    本文提供了建立在 transformer 结构上的神经序列模型的全面统计理论，阐述其在上下文数据分布中能够实现一类广泛的标准机器学习算法，基于上下文梯度下降机制的实现，以及不同算法之间的自适应选择。

    Jun, 2023

  • 深入探究上下文学习在分布偏移下的应用

    通过在不断变化的数据分布下比较转换器和基于集合的 Multi-Layer 感知机的表现，研究了上下文学习的一些普遍限制，发现转换器模型更准确地模拟了最小二乘法的性能，并且对于轻微的分布移位更具有鲁棒性，但在严重分布移位的情况下，两个模型的上下文学习能力都会减弱。

    May, 2023