通过在不同顺序的训练实例和打乱实例标签中训练模型，以测试强迫模型进行上下文学习对组成概括的促进作用的假设，研究表明，以这种方式训练的模型在组成概括方面确实显示出改进，证明了上下文学习问题作为归纳偏差用于概括的有效性。
Mar, 2024
本文提出一种使用不同的演示程序来鼓舞模型学习新体系结构的方法，以解决复合泛化的问题，并表明在纯实际学习设置和与微调结合使用时，结合多样化的演示可以显著提高三个组合泛化语义分析数据集的性能。
Dec, 2022
本篇论文从识别可表达性学习出发，将组合性视为数据生成过程的属性而非数据本身，并提出了仅取决于训练分布和模型架构的轻微条件，为组合泛化建立了理论框架，并验证了其应用于现实世界场景的结论，从而为组合泛化的原则性理论研究铺平了道路。
Jul, 2023
本研究探讨了预训练大型生成语言模型在语义解析任务中在上下文学习时的分布内和分布外表现差异以及模型规模的影响，结果显示随着模型规模的增加，相对泛化差距逐渐减小。
Nov, 2022
本文研究序列到序列模型在新组合情境下（被称为混合泛化）的推广效果，提出了本地结构和测试集的难度之间的关系，并通过选择对模型最具挑战性的测试样本，增加模型的泛化性能。
Jan, 2022
该研究介绍了一个名为 ConceptWorld 的环境，用于生成通过逻辑领域特定语言定义的构成和关系概念的图像。研究测试了标准神经网络和关系网络的泛化能力，并提出了一个潜在的基准模型，以鼓励在构成和关系领域有效泛化的模型的发展。
Jun, 2020
本研究探讨了机器翻译中上下文例句的属性对于翻译质量的影响，其结论是单个优化的例句可以产生出色的效果，增加相似性的例句可以显著提高输出的翻译质量。
本文提出了一种基于语言模型的支持性示例挑选方案，通过两阶段的方法解决了 NP-hard 组合优化问题并使用多样性引导的波束搜索方法优化选定示例的性能，进一步实验证明了我们方法的有效性和 “支持性示例” 和 “上下文学习” 的相关特征。
Feb, 2023
本研究基于多种语言和哲学理论对构成性的不同解释，提出了五个理论有据的测试方法，用于评估神经语言模型的构成性能力，结果分析了三种常见神经网络结构在高度构成性数据集上的表现和潜在改进方向。
Aug, 2019
该研究探讨了大型语言模型的上下文学习能力及其理论机制，提出了基于自然语言数据中组合操作的信息理论边界，并从语言学角度验证了模型输出中间步骤的成功经验。研究表明，在缩放参数和数据并提示输出中间步骤时，模型能在多项任务中进行有效的上下文学习，这种学习得到的支持与其输入的组成结构有关。
Mar, 2023