整体优于部分：在序列推荐的上下文学习中使用聚合演示

ACLMar, 2024

整体优于部分：在序列推荐的上下文学习中使用聚合演示

The Whole is Better than the Sum: Using Aggregated Demonstrations in In-Context Learning for Sequential Recommendation

Lei Wang, Ee-Peng Lim

TL;DR使用大型语言模型（LLMs）作为强序贯推荐器，通过探索上下文学习方法进行序贯推荐，研究了指导格式、任务一致性、演示选择和演示数量的影响。我们提出了一种名为 LLMSRec-Syn 的新方法，将多个演示用户合并成一个聚合演示，实验证明 LLMSRec-Syn 在三个推荐数据集上优于最先进的基于 LLM 的序贯推荐方法，有时甚至可与监督学习方法表现相媲美甚至更好。

Abstract

large language models (LLMs) have shown excellent performance on various NLP tasks. To use LLMs as strong sequential recommenders, we explore the in-context learning approach to sequential recommendation. We inve

large language models sequential recommendation in-context learning demonstration selection llmsrec-syn

发现论文，激发创造

博士 ICL: 演示检索上下文学习

本研究表明，在语义上相似的演示可以提高大型语言模型的性能，这可以通过呈现一些示范来完成，并且可以有效地对大量语言和任务进行泛化，同时，我们还引入了任务特定的演示检索器，以进一步提高性能。

May, 2023

逐步学习：通过课程学习增强上下文学习能力

演示排序是上下文学习中的重要策略，对大型语言模型的性能有显著影响。我们提出了少样本上下文课程学习（ICCL），一种简单但有效的演示排序方法，其在推理过程中逐渐增加提示演示的复杂性。通过设计三个实验来探讨 ICCL 的有效性、LLM 的 ICCL 能力形成机制以及排序主题的影响，实验结果表明，ICCL 在指导调整阶段对开源 LLM 有效。此外，与人类相比，LLM 对演示的难度层次辨别能力较弱。我们在此 https URL 上发布了我们的代码。

Feb, 2024

具有大型语言模型的语境中感知歧义学习

通过对三个文本分类任务的广泛实验，我们发现在选择演示示例时，不仅选择语义上相似的演示示例有益，还选择那些有助于解决测试示例周围固有标签模糊性的演示示例。有趣的是，我们发现包括之前被 LLM 错误分类并且与测试示例的决策边界相近的演示示例能够带来最大的性能提升。

Sep, 2023

揭示基于学习的示范选择在情境学习中的机制

通过分析学习基于示例选择方法的工作机制，我们鉴定出与相似度测量相关的两个重要因素：1）在示例和测试用例输入之间整合不同级别的与任务无关的文本相似度能够增强在不同任务中的泛化能力；2）在测量相似度时结合任务特定标签显著提高每个特定任务的性能。基于这些发现，我们提出了两种适应任务无关和任务特定需求的有效简化示例选择方法，消除了昂贵的大型语言模型推理开销。

Jun, 2024

统一演示选择与压缩以实现上下文学习

ICL 的框架 UniICL 通过一个冻结的 LLM 统一了演示选择、演示压缩和响应生成，并实现了有效的缩放，从 4-shot 到 64-shot 的 ICL 提高了 12 倍。

May, 2024

通过影响分析的上下文学习示范选择

通过使用影响函数分析训练样本的影响力，我们提出了一种名为 InfICL 的演示选择方法，用于选择对 In-Context Learning（ICL）有高影响力的训练样本，从而提高 ICL 的泛化性能，并在多个实际数据集上展示了 InfICL 相对于现有基准方法的优点。

Feb, 2024

再探在上下文学习中的示范选择策略

大型语言模型通过上下文学习（ICL）展示出了在各种任务中都具备惊人的能力，本研究探讨了影响 ICL 性能的因素，并提出了一种基于数据和模型的演示选择方法，该方法通过性能与模型对测试样本的理解相关联来进行演示选择，从而在语言理解和生成任务中实现了一致的改进。

Jan, 2024

DemoRank: 选择大型语言模型在排序任务中的有效演示

近期，对于将大型语言模型应用于零样本段落排名的兴趣日益增加。本文关注于如何选择适当的上下文演示来进行段落排名任务，并提出了 DemoRank 框架，通过检索再排序的过程解决了这个问题，并在域内和域外的场景中展示了其有效性。

Jun, 2024

大语言模型上下文学习的主动学习原则

本文旨在探讨如何使用主动学习算法作为选择最佳演示文稿的方法来服务于上下文学习，对比了基于不确定性、多样性和相似性等各种标准的演示文稿选择算法，并表明相似性算法胜过其他所有方法，包括随机抽样和不确定性抽样。

May, 2023

零样本上下文学习的演示增强

我们提出了一种名为 Demonstration Augmentation for In-context Learning (DAIL) 的方法，通过利用模型之前预测的历史样本作为后续样本的演示，来解决大型语言模型在零 - shot 学习中依赖外部信息并且生成过程耗时的问题，同时在没有任何外部信息的情况下，DAIL 不增加推理成本可以显著提高模型的性能。

Jun, 2024