Feb, 2024

示威活动对多语种场景学习的影响：多维度分析

PDF
TL;DR通过多维度分析多语言上下文学习对不同模型、任务和语言的效果，发现演示的有效性在各个方面有显著差异，并且发现 Llama 2-Chat、GPT-3.5 和 GPT-4 对演示的质量基本不敏感。相反，精心设计的模板往往完全消除了某些任务和语言的演示效果，这表明可能高估了演示的重要性。我们的工作强调了在多个方面进行细致评估以更好地理解上下文学习的需求。
in-context learningmultilingual in-context learningdemonstrationsmultidimensional analysisgranular evaluation
发现论文，激发创造
  • 重新思考演示的作用：何为情境学习的关键？

    本研究分析显示：大型语言模型不需要准确的演示，而是通过演示提供的标签空间、输入文本的分布和序列的整体格式等方面驱动任务表现的提高。因此，揭示了语境学习的原理和作用方式，同时提出了新的问题，即能否仅仅通过推理来学习大型语言模型的更多内容。

    Feb, 2022

  • 大型语言模型隐含主题模型：解释和寻找上下文学习的良好示范

    本文从贝叶斯的角度出发，将大型语言模型视作主题模型，提出了一种从标注数据中选择最佳示范的算法，并在实际数据集中证明相对于随机选择基线，平均有 12.5% 的显著改进。研究表明，大型语言模型从示范中隐式地推断出潜在的概念变量。

    Jan, 2023

  • MT 中 LLM 的上下文学习能力的实证分析

    探讨了大型语言模型在上下文学习中的能力，并研究了上下文演示的不同方面对机器翻译任务的影响。观察到不同模型家族对扰动示例呈现不同的行为，表明上下文学习的鲁棒性可能受到多种因素的影响。需要进一步研究来全面了解这些因素。

    Jan, 2024

  • 基于检索演示的语言模型的上下文学习：一项调查

    语言模型特别是预训练大型语言模型，在上下文少例学习方面表现出非凡的能力，能够在输入上下文中仅通过几个示例适应新任务。最近的一个发展是使用对每个输入查询量身定制的示例进行检索，这不仅提高了学习过程的效率和可伸缩性，还能减少手动示例选择中固有的偏差。基于鼓舞人心的结果和对检索式少例学习领域日益增长的研究，我们对该领域的研究进行了广泛的概述回顾，在此调查中，我们讨论并比较了检索模型、检索训练程序和推理算法的不同设计选择。

    Jan, 2024

  • 上下文中缺少什么？利用信息化演示评估少样学习器

    通过挑选与预测样本分享特定信息的示范来区分少样本学习者的能力，结果表明现有的少样本学习者不利用信息，并且暴露了训练真正的上下文学习者的挑战。

    Dec, 2022

  • 通过影响分析的上下文学习示范选择

    通过使用影响函数分析训练样本的影响力，我们提出了一种名为 InfICL 的演示选择方法，用于选择对 In-Context Learning（ICL）有高影响力的训练样本，从而提高 ICL 的泛化性能，并在多个实际数据集上展示了 InfICL 相对于现有基准方法的优点。

    Feb, 2024

  • ICL-D3IE: 基于上下文学习与多样化演示更新的文档信息提取

    本文提出了一种名为 ICL-D3IE 的简单有效的上下文学习框架，该框架使得大型语言模型（如 GPT-3 和 ChatGPT）能够在文档信息提取方面使用不同类型的演示示例进行 DIE，包括提取难处理文档中最困难和独特的章节作为强演示，通过迭代改进各种演示等方法，从而显著提高了 GPT-3/ChatGPT 在三个广泛使用的基准数据集上的性能，无论是在内部分布还是外部分布的情况下。

    Mar, 2023

  • 从自省到最佳实践：多模态情景学习中示范的原则分析

    通过对多种规模模型在广泛的新任务上进行系统而有原则的评估，我们展示了多模态在上下文学习中的不同影响，并通过模态驱动的示范策略提高了性能。我们的分析为理解多模态上下文学习中示范的作用提供了全面的方法，并为改进多模态上下文学习提供了启示。

    Jul, 2024

  • 博士 ICL: 演示检索上下文学习

    本研究表明，在语义上相似的演示可以提高大型语言模型的性能，这可以通过呈现一些示范来完成，并且可以有效地对大量语言和任务进行泛化，同时，我们还引入了任务特定的演示检索器，以进一步提高性能。

    May, 2023

  • 零样本上下文学习的演示增强

    我们提出了一种名为 Demonstration Augmentation for In-context Learning (DAIL) 的方法，通过利用模型之前预测的历史样本作为后续样本的演示，来解决大型语言模型在零 - shot 学习中依赖外部信息并且生成过程耗时的问题，同时在没有任何外部信息的情况下，DAIL 不增加推理成本可以显著提高模型的性能。

    Jun, 2024