Feb, 2024

离奇自动提示的非常有效性

PDF
TL;DR该研究旨在量化将 “积极思考” 融入到提示信息中所产生的影响，并与系统性的提示优化进行比较。实验结果表明，大多数情况下，包含 “积极思考” 的提示对模型的表现起到积极的影响。然而，当不使用思路链时，Llama2-70B 模型却例外，最优系统信息竟然是没有任何信息。针对大型黑盒模型的提示手动调优的实验耗时较长，因此我们通过将自动化提示优化器的输出与最佳 “积极思考” 提示的表现进行了比较。研究结果显示，即使是在使用较小的开源模型时，采用自动化的提示优化方法也是提高性能最有效的方法。此外，研究还发现，得分最高的自动优化提示展示了超出预期的奇特特征。
发现论文，激发创造
  • 情绪刺激：通过心理学为大型语言模型提升增强

    大语言模型通过 EmotionPrompt 在情绪智能方面进行性能提升，取得了显著的成果，有助于人类与语言模型的跨学科知识交互。

    Jul, 2023

  • 大型语言模型的思路链主动提示

    本文提出了一种新的方法 Active-Prompt，通过任务特定的示例提示来适应 LLMs 的不同任务，通过从特定的查询池中选择最不确定的问题进行注释来确定哪些问题是最重要和有帮助的。经验结果表明了我们提出的方法的优越性，取得了八项复杂推理任务的最新成果。

    Feb, 2023

  • 思维的提升：利用大型语言模型进行试错问题解决

    通过迭代地探索和自我评估许多思维树以获得试错推理经验集，我们提出了一种用于 LLMs 问题解决的自动提示框架 BoT，它将作为一种新形式的提示来解决复杂的问题。实验证明，BoT 在解决复杂数学问题时，与其他先进的提示方法相比，可以达到更高或相当的问题解决率。

    Feb, 2024

  • 渐进提示提高大型语言模型推理能力

    本文提出了一种名为 “逐步提示” 的新提示方法，它利用先前生成的答案作为提示，逐步引导用户与 LLMs 之间的自动多次交互，从而进一步提高了性能。 该方法在 CoT 和自一致性之外，具有正交性，易于与最先进的技术相结合进行综合评估，并在六个基准测试中获得了最佳性能。

    Apr, 2023

  • 自我确信的激励机制：反复审视下的少样本问答

    利用大规模预训练语言模型，通过迭代增强和定制提示来提升其在复杂任务中的性能。

    Oct, 2023

  • 消极刺激与心理学在大型语言模型增强中的应用

    负性提示将消极情绪刺激引入大型语言模型，提供了一种提高性能的机制，通过实验评估和注意力可视化得到了相关结果，为真实世界应用中大型语言模型的改进提供了新的见解。

    May, 2024

  • MathPrompter：利用大型语言模型进行数学推理

    提出了一种名为 MathPrompter 的技术，它使用 Zero-shot chain-of-thought 提示技术生成多个代数表达式或 Python 函数，并以不同的方式解决相同的数学问题，从而提高模型在算术问题上的性能并提高置信水平。

    Mar, 2023

  • uTeBC-NLP 在 SemEval-2024 任务 9 中：LLMs 能否成为横向思考者？

    Leveraging a benchmark for lateral thinking, this paper examines the effects of various prompting methods on the performance of LLMs, highlighting the benefits of compressed informative prompts, dynamic in-context learning, and fine-tuning Zephyr.

    Apr, 2024

  • 大型语言模型的思路链测试

    通过对 Chain-of-Thought（CoT）提示方式的研究，我们发现 CoT 的正确操作和数值是 GPT-3 在各种任务中获得准确答案的关键，而错误操作会对性能产生负面影响，这项研究加深了我们对 CoT 提示方式的理解，也提出了有关大语言模型在上下文中学习推理能力的新问题。

    Sep, 2023

  • 设计合理思考：关于结构化提示对消除语言模型偏见的有效性的思考

    通过系统评估多种 LLM 模型和不同提示策略的方法，我们展示出基于第二系统推理提示的复杂方法在减少偏见的平均输出中表现更好，对下游任务具有竞争性能，这为以最终用户为焦点的评估框架在 LLM 使用方面提供了研究方向和潜力。

    May, 2024