本研究探讨了模拟推理对于在可组合元素的视觉刺激下的情境组合的学习的作用，并提出了一个名为 Im-Promptu 的元学习框架，用于训练多个具有不同组成水平的代理。实验揭示了推广能力和组合度之间的权衡，可以扩展学习到的组合规则到看不见的域，但在组合任务上表现不佳。集中于对象的标记方法配合交叉注意模块生成一致和高保真的解决方案，这种感性偏见特别关键。最后，我们展示了 Im-Promptu 作为图像生成的直观编程界面的用例。

May, 2023

通过逐步提示的基于句法分析的分解，本研究发现了更多语义分析任务中的挑战。这一最优方法使我们在 CFQ 上取得了最新的技术成果，同时只需要传统方法所需训练数据的 1％。由于我们方法的普适性，我们期望类似的方法将在知识密集型应用中取得新的成果。

Sep, 2022

大型语言模型在数学推理方面研究了系统组合性，通过引入精心设计的逻辑漏洞陷阱构建了一个新的数据集 MathTrap，发现虽然大型语言模型具备所需知识的两个组成部分，但它们不会自发地组合起来处理这些新问题，通过自然语言提示、少示范演示和微调等多种方法可以减轻这种缺陷，但系统的组合性仍然是大型语言模型面临的一个未解决挑战。

May, 2024

该研究探讨了大型语言模型的上下文学习能力及其理论机制，提出了基于自然语言数据中组合操作的信息理论边界，并从语言学角度验证了模型输出中间步骤的成功经验。研究表明，在缩放参数和数据并提示输出中间步骤时，模型能在多项任务中进行有效的上下文学习，这种学习得到的支持与其输入的组成结构有关。

Mar, 2023

我们通过对现有 ICL 方法的实证调查发现其在复合泛化问题上表现不佳，因此我们提出了一种人工引导的工具操作框架 (HTM)，它通过生成子问题的工具并整合多个工具来提高工具的创建和使用效果。实验证明，我们的方法在两个复合泛化基准测试上取得了最先进的性能，并在最具挑战性的测试中优于现有方法 70%。

Dec, 2023

本文介绍了一种基于大型语言模型的 In-context learning 方法用于文本到 SQL 查询转换中，通过不同的演示选择策略和指令格式来提高 LLMs 性能。实验结果表明，该方法在 Spider 数据集上超出了最先进系统 2.5 个点，超出了最佳微调系统 5.1 个点。

May, 2023

该研究提出了一种名为 SoftPromptComp 的创新框架，它通过集成自然语言摘要、软提示压缩和增强型效用保留机制来为大语言模型提供流畅的上下文处理。研究结果表明，该框架显著降低了计算负担，并提高了大语言模型在各项基准测试中的效力，同时保持或增强所生成内容的质量。该研究为优化语言模型提供了见解，并探讨了软提示和摘要技术作为未来自然语言处理解决方案的关键工具的潜力。

Apr, 2024

通过提示工程，大型语言模型（LLMs）展示了在上下文学习中的新兴能力。最近在大规模生成模型方面的进展进一步扩展了它们在实际语言应用中的使用。然而，在自然语言理解和问题回答方面，提高 LLMs 的泛化能力和准确性的关键挑战仍未得到充分探索。

Dec, 2023

在这项工作中，我们通过提出提示素描的新提示范式来解决使用序列查询大型语言模型 (LLMs) 的许多最近提示策略中存在的问题，该模型不仅通过完成提示来回答，而是通过在模板中预测多个变量的值来回答，从而使用户在生成过程中具有更多的控制，同时优化推理中整体模板的可能性。

Nov, 2023

大语言模型 (LLM) 在许多任务上展现出了令人印象深刻的性能。然而，为了实现最佳性能，仍然需要特殊设计的提示方法。在这项工作中，我们试图引入通用提示的概念，它在设计原则上旨在在广泛的任务范围内实现最佳或接近最佳的性能，同时消除了手动选择和定制面向特定问题的提示的需求。此外，我们提出了一种创新的提示方法 MeMo（心智模型），它设计简单但有效地满足通用提示的要求。MeMo 将各种提示方法的要点提炼成个别的心智模型，并允许 LLMs 自主选择最合适的心智模型来解决问题，在零样本设置下在 STEM、逻辑推理和常识推理等多种任务上达到或接近于最新的研究结果。我们希望本文所提出的见解能够激发更多对 LLMs 的通用提示方法的探索。

Feb, 2024