May, 2023

概念感知训练提高语言模型的上下文学习能力

PDF
TL;DR文中介绍了一种名为 CoAT 的优化方法，利用模拟训练数据来帮助语言模型更好的利用其背景知识。使用 CoAT 训练的 In-context learners 性能表现良好，达到了在多任务训练中更大规模模型的性能水平。
language modelstransformersin-context learningconcept-aware traininganalogical reasoning
发现论文，激发创造
  • 概念感知数据构建改善语言模型的上下文学习

    通过概念感知训练框架构建训练场景，提高预训练变换器在上下文学习过程中利用新的潜在概念的能力，并使这种能力使得上下文学习对先前模型的功能性缺陷更具鲁棒性，相对于传统指令优化，在大多数新任务上具有更好的效果，并且训练数据规模相当的情况下，表现与先前的上下文学习模型相当。

    Mar, 2024

  • 从数据生成的角度探究应境学习的机制

    通过数据生成的视角重新解释最近的努力，并展示了流行技术解决方案的潜在更广泛的用途，接近了一个系统的角度。对于概念定义，我们严格采用技能学习和技能识别的术语。我们还对不同解决方案的优点和缺点进行了全面研究，并突显了在数据生成视角下它们之间的统一性，为未来研究结合不同研究线路的优势建立了技术基础。

    Feb, 2024

  • 迭代前向调整促进语言模型内部学习

    本研究提出了一种有效的、高效的两阶段方法来增强大型语言模型中的上下文学习，该方法利用 Transformer 注意力和梯度下降优化之间的双重形式，将上下文学习过程分为 'Thinking' 和推理阶段，通过递归前向优化演示来增强 LLLs 的推理能力，并且将得到的元梯度通过注意力应用于最终的输出预测中，从而有效地、高效地适应下游任务。

    May, 2023

  • 上下文语言学习：结构和算法

    通过研究在背景语境中的大规模神经语言模型对正则语言的学习，我们展示了 Transformers 相对于递归或卷积模型在 in-context 语言学习任务上的显著优势，并提出硬连接高阶归纳头到递归和卷积模型可改善这个任务和自然语言建模的性能。

    Jan, 2024

  • 关于现场学习的调查

    本文概述了大型语言模型的新范式 —— 上下文学习，并探讨了训练策略和演示设计策略等高级技术，以及上下文学习所面临的挑战和未来方向。

    Dec, 2022

  • 多任务训练如何影响 Transformer 的上下文能力？对功能类别的研究调查

    结合多任务学习和上下文学习，在大型语言模型中提出了有效的课程学习策略，使得模型能够高效地学习任务并对分布外的例子具有稳定的收敛性。

    Apr, 2024

  • 关于上下文学习的内容：“学习” 上下文中的任务识别和任务学习的区别

    本研究探讨了大型语言模型利用情境学习来解决只有少量演示的任务的机制，发现情境学习从两个方面发挥作用：任务识别和任务学习，具有不同的性质和特点。

    May, 2023

  • 上下文化学习创建任务向量

    使用全面实验证明，In-context learning 通常具有非常简单的结构，即对应于仅有查询 x 和从训练集计算得到的单个 “任务向量” 的 Transformer LLM，可将训练集 S 压缩为单个任务向量 θ(S)，并使用该任务向量来调节 Transformer 以产生输出。

    Oct, 2023

  • 面向视觉与语言模型的多模态上下文学习

    通过对一些最先进的 VLM（Visual Language Model）进行分析，我们发现它们在执行 ICL（In-Context Learning）指令时存在一定的不足。为了验证这个猜想，我们提出了一种简单但令人惊讶地有效的策略，通过扩展一个常见的 VLM 对齐框架，实现 ICL 支持、方法和课程设置。我们探讨、分析并提供了对有效数据混合的见解，从而显著提升了 21.03% 的 ICL 表现（平均 11.3%），超过了最强 VLM 基线和多种 ICL 基准，并为 VLM 的 ICL 评估贡献了新的基准，并讨论了它们相对于现有技术的优势。

    Mar, 2024

  • 上下文学习的双重操作模式

    通过引入概率模型，我们对上下文学习的双重工作模式进行了解释，并分析了线性函数的上下文学习行为，展示了一种可能的解释，即通过更多的上下文示例，任务学习将产生作用并减少风险。

    Feb, 2024