Sep, 2023

理解来自重复的上下文学习

PDF
TL;DR这篇论文通过检验表面重复现象的视角，定量地研究了文本生成中的表面特征对上下文学习的作用，并实证了一种被称为 “令牌共现强化” 的原则，强调了两个令牌在上下文共现下的关系。通过研究这些特征的双重影响，我们的研究揭示了上下文学习的内部机制和其失败的原因。这篇论文对于理解上下文学习及其潜在限制作出了重要贡献，并为这一令人兴奋的能力提供了新的视角。
发现论文，激发创造
  • 一种基于上下文的突现学习理论：隐式结构归纳

    该研究探讨了大型语言模型的上下文学习能力及其理论机制，提出了基于自然语言数据中组合操作的信息理论边界，并从语言学角度验证了模型输出中间步骤的成功经验。研究表明，在缩放参数和数据并提示输出中间步骤时，模型能在多项任务中进行有效的上下文学习，这种学习得到的支持与其输入的组成结构有关。

    Mar, 2023

  • 大型语言模型中的上下文学习：基于神经科学的表示分析

    大型语言模型通过背景学习在任务导向的例子中取得了显著的性能提升。本文研究了背景学习对语言模型嵌入和注意力表示的影响，以及这些变化如何对行为改进起到中介作用。通过神经科学启发的技术，我们发现在背景学习后，嵌入和注意力表示的变化与行为性能的改善之间存在有意义的相关性，这为对 LLM 行为的潜在表示进行细致理解提供了有价值的工具和见解。

    Sep, 2023

  • 大语言模型中上下文案例检索学习

    本文提出了一种新的框架，通过训练密集检索器来识别高质量的上下文示例，进而提高大型语言模型（LLMs）的上下文学习表现。实验证明了该框架可以显著地提高在各种任务上的性能，而且具有良好的泛化能力。

    Jul, 2023

  • 归因与对齐：对话中局部语境重复对话语产生和理解的影响

    调研表明，语言模型在对话生成中重复具有关键作用，并且关联着词汇重用的处理机制，加强这方面的研究有助于开发认知启发式的对话生成系统。

    Nov, 2023

  • 大型语言模型是否能理解上下文？

    理解上下文是理解人类语言的关键，本论文介绍了一个上下文理解基准，通过适应现有数据集来评估生成模型的能力，并发现预先训练的稠密模型在理解复杂上下文特征方面比优化调整模型困难。

    Feb, 2024

  • 大型语言模型中的元上下文学习

    本文介绍了大型语言模型在上下文学习中的递归学习能力，即元上下文学习。作者以两个理想化的领域为例，展示了元上下文学习是如何适应性地重塑大型语言模型对预期任务的先验知识，并修改其上下文学习策略。最后，作者通过真实世界回归问题的基准测试发现，元上下文学习与传统学习算法相比具有有竞争力的性能。通过元上下文学习而不是传统的 finetuning 来纯粹地适应大型语言模型应用的环境，可以提高大家对上下文学习的理解，为大型语言模型的应用打下基础。

    May, 2023

  • 关于共现、位置信息和噪音结构的作用：从无结构数据的训练中产生上下文学习

    通过建模共现信息使用经典语言模型如连续词袋模型，我们理论上证明并实证验证了不监督训练对于上下文学习的产生方式，同时我们提出了一些 ICL 失败的情况并给出了理论解释。

    May, 2024

  • 从数据生成的角度探究应境学习的机制

    通过数据生成的视角重新解释最近的努力，并展示了流行技术解决方案的潜在更广泛的用途，接近了一个系统的角度。对于概念定义，我们严格采用技能学习和技能识别的术语。我们还对不同解决方案的优点和缺点进行了全面研究，并突显了在数据生成视角下它们之间的统一性，为未来研究结合不同研究线路的优势建立了技术基础。

    Feb, 2024

  • 大型联想记忆检索中的上下文示例

    以关联记忆模型为基础，将语境检索视为上下文检索的语言模型（LLM）的一种新途径，并研究了在上下文例子对 LLM 的性能影响下，更有效的例子选择方法。

    Nov, 2023

  • 随机二进制序列下的上下文学习动态

    使用 Cognitive Interpretability 框架分析 GPT-3.5 + 模型的 in-context 学习动态，发现其具备生成伪随机数和学习基本形式语言的新能力，有着从伪随机行为到确定性重复的显著 in-context 学习特性。

    Oct, 2023