本文介绍了 CoFe 测试套件，以研究上下文中符合规范的泛化，研究发现，应该具有与测试案例结构相似，彼此之间不同和个别简单的上下文实例，还应该覆盖必需的语言结构。
May, 2023
本研究探讨了预训练大型生成语言模型在语义解析任务中在上下文学习时的分布内和分布外表现差异以及模型规模的影响，结果显示随着模型规模的增加，相对泛化差距逐渐减小。
Nov, 2022
本文研究了使用自动生成的合成语言 - 程序组对来改善语义解析中组合泛化的问题，通过使用具有结构多样性的样本，我们获得了在数据效率方面 200 倍的提高，并且在 schema2QA 数据集上，模型在组合泛化方面取得了显著的提高和在传统的 i.i.d 设置下取得了适度的提高。
Sep, 2021
通过在不同顺序的训练实例和打乱实例标签中训练模型，以测试强迫模型进行上下文学习对组成概括的促进作用的假设，研究表明，以这种方式训练的模型在组成概括方面确实显示出改进，证明了上下文学习问题作为归纳偏差用于概括的有效性。
Mar, 2024
本文探究在语义解析中复合泛化的问题，研究了多种模型并提出多种扩展，其中包括使用上下文表示、指导解码器、训练解码器等等，结果发现这些因素有助于促进复合泛化。
Oct, 2020
本研究提出了一种结构多样性的训练方法，可以改善 NLP 模型组合性的普适性问题，并发现结构多样化训练可提高样本效率和测试统计数据的多样性。
Mar, 2022
本文研究了基于元学习和少样本训练的方法如何实现某些组合行为，并提出了一种代理系统，该系统通过生成可能与测试查询和当前世界状态相关的支持来解决测试查询。实验表明，这种方法在以前未解决的组成行为方面表现出显着的提高。
本研究分析显示：大型语言模型不需要准确的演示，而是通过演示提供的标签空间、输入文本的分布和序列的整体格式等方面驱动任务表现的提高。因此，揭示了语境学习的原理和作用方式，同时提出了新的问题，即能否仅仅通过推理来学习大型语言模型的更多内容。
Feb, 2022
本文提出了 CEIL 算法以及其应用在 NLP 中，其将 in-context example selection 视为子集选择问题，并通过 Contrastive Learning Objective 进行优化，用于在 12 个分类和生成数据集上验证其性能。CEIL 展示了最先进的性能以及可传输性和组合性，并在 “In-Context Learning” 领域中开辟了新途径。
Feb, 2023
本文提出了一种基于语言模型的支持性示例挑选方案，通过两阶段的方法解决了 NP-hard 组合优化问题并使用多样性引导的波束搜索方法优化选定示例的性能，进一步实验证明了我们方法的有效性和 “支持性示例” 和 “上下文学习” 的相关特征。