ACLJun, 2024

零样本上下文学习的演示增强

PDF
TL;DR我们提出了一种名为 Demonstration Augmentation for In-context Learning (DAIL) 的方法，通过利用模型之前预测的历史样本作为后续样本的演示，来解决大型语言模型在零 - shot 学习中依赖外部信息并且生成过程耗时的问题，同时在没有任何外部信息的情况下，DAIL 不增加推理成本可以显著提高模型的性能。
发现论文，激发创造
  • Self-ICL: 自生成示范的零样本上下文学习

    本文提出了 Self-ICL，一种基于零 - shot 学习的简单框架，用于优化大型语言模型的内在能力，并创造了虚拟演示的概念以有效地进行 ICL。通过在 BIG-Bench Hard 上进行的评估，该方法能够显着提高模型的性能。

    May, 2023

  • DAIL: 利用自己的改写来增强上下文学习的数据增强

    通过数据增强的方法，利用大规模预训练的语言模型，提出了一种名为 DAIL 的上下文学习方法，该方法在低资源环境中取得了比标准的 ICL 方法和其他组合方法更好的效果，并探索了投票一致性作为模型置信度评分的应用。

    Nov, 2023

  • 通过隐式示范增强上下文学习

    在这篇论文中，我们首次从演示增强的角度来解决上下文学习的挑战，通过丰富演示的表示以及集成特定的统计特性，我们提出了一种简单但高效的方法，显著提高了各种预训练语言模型和任务的平均和最坏情况准确性，并有效减少了不同演示、排列和模板之间的性能差异，并且具备处理不平衡类别分布的能力。

    Jun, 2024

  • 博士 ICL: 演示检索上下文学习

    本研究表明，在语义上相似的演示可以提高大型语言模型的性能，这可以通过呈现一些示范来完成，并且可以有效地对大量语言和任务进行泛化，同时，我们还引入了任务特定的演示检索器，以进一步提高性能。

    May, 2023

  • 基于检索演示的语言模型的上下文学习：一项调查

    语言模型特别是预训练大型语言模型，在上下文少例学习方面表现出非凡的能力，能够在输入上下文中仅通过几个示例适应新任务。最近的一个发展是使用对每个输入查询量身定制的示例进行检索，这不仅提高了学习过程的效率和可伸缩性，还能减少手动示例选择中固有的偏差。基于鼓舞人心的结果和对检索式少例学习领域日益增长的研究，我们对该领域的研究进行了广泛的概述回顾，在此调查中，我们讨论并比较了检索模型、检索训练程序和推理算法的不同设计选择。

    Jan, 2024

  • 通过影响分析的上下文学习示范选择

    通过使用影响函数分析训练样本的影响力，我们提出了一种名为 InfICL 的演示选择方法，用于选择对 In-Context Learning（ICL）有高影响力的训练样本，从而提高 ICL 的泛化性能，并在多个实际数据集上展示了 InfICL 相对于现有基准方法的优点。

    Feb, 2024

  • 自我生成的上下文学习：利用自回归语言模型作为示范生成器

    本文提出自生成上下文学习（SG-ICL）方法，用于生成 pre-trained language model（PLM）自身的演示文稿，以便在上下文学习中减少对外部演示的依赖。在四个不同的文本分类任务上进行实验，并表明 SG-ICL 显著优于零样本学习，一般值约为 0.6 金培训样本。此外，所生成的演示文稿与从训练数据集中随机选出的演示文稿相比，表现更具一致性和低方差。

    Jun, 2022

  • Z-ICL: 伪示例下的零样本上下文学习

    介绍了一种新的零样本方法 Z-ICL，通过使用文本语料库为给定的测试输入构造伪演示来缩小性能差距，并在九个分类数据集上的评估表明，Z-ICL 明显优于以前的零样本方法，并且与带标记训练数据的上下文学习在少样本学习中不相上下。

    Dec, 2022

  • 针对大型语言模型的对抗性演示攻击

    本文研究了使用演示数据对大型语言模型（LLMs）进行上下文学习（ICL）的安全问题，并通过 TextAttack 提出了一种只操纵演示而不改变输入的 ICL 攻击方法，结果表明，随着演示数量的增加，ICL 的鲁棒性会降低，并呼吁对 ICL 的鲁棒性进行广泛研究，特别是在 LLMs 的发展中。

    May, 2023

  • MT 中 LLM 的上下文学习能力的实证分析

    探讨了大型语言模型在上下文学习中的能力，并研究了上下文演示的不同方面对机器翻译任务的影响。观察到不同模型家族对扰动示例呈现不同的行为，表明上下文学习的鲁棒性可能受到多种因素的影响。需要进一步研究来全面了解这些因素。

    Jan, 2024