有限预算下快速学习的最佳臂识别
本文中，我们提出了一种统一的框架来解释和评估现有的概率基准选取方法，对13个常见的NLP任务进行了广泛的实验，并发现所有现有方法都可以统一为一些变量的方法，这些方法最大化了输入和相应模型输出之间的互信息，并提出了几种互信息的变体，并通过较新的校准方法，即Margin- Calibration by Marginalization（CBM）提高了最佳选择方法的准确性，从而将选中问题的性能与最佳Oracle问题的性能比率提高到99.44%。
May, 2023
通过反馈-反思-完善的PREFER方法，我们提出了一种简单、通用、自动的方法来改进大型语言模型的性能，通过无监督生成新的提示来解决现有方法中存在的问题，并通过前向和后向思考的新型提示集成方法提高性能评估的稳定性。
Aug, 2023
该论文综述了大型语言模型在自然语言处理任务中的重要性，并聚焦于不同类型的提示（如离散、连续、少样本和零样本）及其对模型性能的影响。论文探讨了手动设计、优化算法和评估方法等多种提示设计方法，以优化模型在不同任务中的性能。此外，论文还讨论了评估提示性能所面临的挑战，并指出了提示设计在充分利用大型语言模型的潜力中的关键作用，为在自然语言处理任务中更有效、更高效地使用大型语言模型提供了启示。
Sep, 2023
通过建立统一的上下文提示优化框架，本研究旨在实现上下文提示和示例的联合优化，并提出了一个高效的自动提示优化框架PhaseEvo，它结合了LLMs的生成能力和进化算法的全局搜索能力，通过创新的基于LLMs的变异操作提高搜索效率并加速收敛。实验证明，PhaseEvo在保持良好效率的同时大幅度优于最先进的基线方法。
Feb, 2024
通过将硬提示和软提示作为单独的输入来解决prompt初始化带来的噪音问题，并通过对比学习优化软提示以利用类别感知信息，实验证明该方法在准确性上超过了先进方法7.20％，平均标准差减少了2.02，并在涵盖各种任务的7个数据集上得到了强大和稳定的结果。
Apr, 2024
通过利用预训练语言模型的隐藏嵌入来表示有序的示例集，并使用神经赌博算法来优化示例集，同时考虑示例的排序，我们提出了一种名为EASE的新方法，可以有效地找到一个有序的示例集，从而消除了测试时间计算以容纳所有测试查询，此外，EASE可以轻松扩展以同时优化示例和指令，通过广泛的实证评估，我们展示了EASE在现有方法上的优势，并揭示了示例选择对于上下文学习的影响，这可能是独立利益的实际见解。
May, 2024
本研究旨在解决当前提示优化方法仅依赖于错误样本学习的问题，以及有效提示在不同模型和语言中表现不佳的挑战。我们提出的对比提示学习框架（LCP）通过分析优劣提示实例的模式，采用对比学习生成有效提示。在Big-Bench Hard数据集上的评估表明，LCP在提示优化中胜率超过76%，且在不同模型版本、家族和语言中表现出强适应性。
Sep, 2024