在这项研究中，我们评估了10个开源指导式LLMs在四个代表性的代码理解和生成任务上的表现，并得出了以下主要发现：首先，在零样本设置下，指导式LLMs在代码理解和生成任务上非常有竞争力，有时甚至比特定于每个下游任务进行微调的小型SOTA模型表现更好。我们还发现，对于与代码相关的任务，并非总是越大的指导式LLMs表现更好。其次，在少样本设置下，我们发现添加演示示例可以大大帮助指导式LLMs在大多数代码理解和生成任务中表现得更好；然而，这些例子有时会导致不稳定甚至更差的表现。此外，我们发现广泛使用的基于BM25的选样策略在生成问题上明显优于基本随机选样或固定选样。第三，在微调设置下，我们发现与零样本/一样本的表现相比，微调可以进一步提高模型在下游代码理解和生成任务中的性能。此外，在在相同下游任务数据集上进行微调后，指导式LLMs的性能优于小型SOTA模型和未进行指导微调的相似规模LLMs。根据我们的发现，我们进一步提出了有关模型和使用建议、性能和成本的权衡以及未来方向的实用影响。

Aug, 2023

ChainForge是一个开源的可视化工具包，用于大型语言模型的提示工程和按需假设测试，它提供了一个图形界面，用于跨模型和提示变体之间的响应比较。

Sep, 2023

大型语言模型，困惑度，压缩，基于提示的恢复，推理时动态提示。

Oct, 2023

评估LLM在各种任务和数据大小上的优化能力，并引入了三个不同的指标来全面评估任务性能。通过应用这些指标，我们观察到LLM在处理小规模样本时表现出很强的优化能力，但其性能受到数据大小和值等因素的显著影响，强调了对LLM的优化任务领域进行进一步研究的重要性。

Oct, 2023

大语言模型的关键因素在于提示设计对其性能会产生巨大影响，通过许多方面的分析研究，我们发现几种常用开源大语言模型对微妙的提示格式变化具有极高的敏感性，这种敏感性在不断增加模型大小、样本数量或进行指令调整时仍然存在。

Oct, 2023

该研究介绍了一种新的推理方法，Prompt Highlighter，通过在生成过程中用户可以突出特定的提示段来实现交互式控制，利用突出显示的令牌通过注意力权重指导模型来产生期望的输出。实验结果证实了该方法在关注输入背景和生成可靠内容方面的有效性。

Dec, 2023

通过细致研究LLM-based Automatic Prompt Optimization的机制，发现LLM优化器在自我反思时往往倾向于以自身的先验知识为偏见，难以正确识别错误的真正原因；此外，LLM优化器在语义上有效的反思时，由于目标模型行为的难以预测性，往往在单次优化步骤中难以生成适当的提示。因此我们提出了“Automatic Behavior Optimization”新范式，以更可控的方式直接优化目标模型的行为，希望本研究能启发自动提示优化的新方向。

Feb, 2024

LLMs在提升生成能力和判别能力方面的研究结果并不一致，这对自我提升的人工智能系统的发展具有重要意义。

Apr, 2024

本研究解决了现有提示设计方法在处理复杂任务时的局限性。提出了一种新的提示递归搜索框架，利用大型语言模型生成特定问题的解决方案，优化令牌使用并降低错误概率。实验结果表明，与链式思维方法相比，该框架在BBH数据集上的准确率提高了8%，实现了22%的整体改善。

Aug, 2024

本研究解决了黑箱大型语言模型（LLMs）在响应质量提升中的局限，提出了一种自我指导的上下文学习框架，通过生成可靠的派生提示来构建信息丰富的上下文环境。实验表明，该方法不仅生成更可靠的提示，还显著提升了LLMs（包括GPT-4）的响应效果。

Sep, 2024