ACLFeb, 2023

通过提示约束限制开放文本生成中大型语言模型的能力

PDF
TL;DR本文采用基于提示的方法，通过加入约束类型的多样性和可解析性，系统性地分析了开放式生成模型的限制及其失败原因，案例分析了 GPT-3 模型的生成失败，并揭示了未来研究的挑战。
open-ended generative modelsprompt-centric approachprompt constraintsgpt-3model's generative failures
发现论文，激发创造
  • 大型语言模型的提示式编程：超越少样本范式

    使用 GPT-3 模型分析得出少量样例引导更接近于已学习的任务，本文探讨使用自然语言编程来优化引导，提出元引导概念后能够生成更多的任务自然语言引导，展望这些方法如何应用于实践应用。

    Feb, 2021

  • 解锁预期文本生成：一种受限方法用于大型语言模型的忠实解码

    通过将文本生成问题形式化为未来约束生成问题，以最小化不良行为并确保指令的忠实执行，本文介绍了利用 LLM 的未来约束满足估计来指导文本生成过程的方法，并通过对关键词受限生成、有害性降低和问答中的事实正确性等三个不同的文本生成任务进行了广泛的实验，证明了该方法的有效性。

    Dec, 2023

  • 大型语言模型的有约束文本生成的综合评估

    通过在大型语言模型中引入详细的约束条件，本研究调查了约束文本生成的问题，并对多个语言模型进行了分类和评估，旨在为未来的约束文本生成提供启示。

    Oct, 2023

  • 评估即所需：使用开放模型在社会科学的注释任务中引导生成式大型语言模型的纲要

    本研究探讨了在社会科学中使用开放生成的大型语言模型（LLMs）进行注释任务的用途。研究强调了专有模型所面临的限制再现性和隐私问题，并主张采用可在独立设备上运行的开放（源）模型。提供了推文情感分析和童年志向性散文中休闲活动的识别两个注释任务的示例。研究评估了不同的提示策略和模型（neural-chat-7b-v3-2，Starling-LM-7B-alpha，openchat_3.5，zephyr-7b-alpha 和 zephyr-7b-beta）的性能。结果表明需要仔细验证和定制提示工程。研究强调了开放模型在数据隐私和再现性方面的优势。

    Dec, 2023

  • 大语言模型的公平指导少样本提示

    本文提出了一个度量标准，评估了一个固定提示对标签或给定属性的预测偏差，并提出了一种新的基于贪心搜索的搜索策略来确定最佳提示，以提高上下文学习的性能，并在多种下游任务中使用 GPT-3 等最先进的主流模型进行全面实验。结果表明，我们的方法可以有效提高模型的在上下文学习性能。

    Mar, 2023

  • 大型语言模型与查询工程在生物医学多文档摘要中的应用

    使用提示工程和 GPT-3.5 进行生物医学问题聚焦多文档摘要，我们的系统在 2023BioASQ 挑战中通过 GPT-3.5 和适当的提示获得了最佳的 ROUGE-F1 结果。这篇论文证实了在其他领域观察到的事实：纳入少样本的提示通常优于对应的零样本变体；检索增强生成实现了最大的改进。这些提示使得我们的最佳运行结果在 BioASQ11b 排名前两位，证明了在一般情况下，使用适当的提示对于大语言模型以及 GPT-3.5 在问题聚焦摘要中的强大作用。

    Nov, 2023

  • 生成式大型语言模型是全能文本分析引擎：文本对文本学习是您所需的全部

    通过基于生成型大型语言模型（LLM）的通用文本到文本学习架构和提示调优，解决主要的临床自然语言处理（NLP）任务，并提供了最新的性能。

    Dec, 2023

  • GPT3Mix：利用大规模语言模型进行文本增强

    本文提出一种新的数据增广技术，利用大规模的语言模型从混合的样本中生成逼真的文本样本，并利用语言模型预测的软标签，从大规模语言模型中蒸馏知识并同时创建文本扰动，我们在多元化的分类任务上进行数据增广实验，并展示了该方法远远优于现有的文本增广方法，消融研究和定性分析提供了更多的见解。

    Apr, 2021

  • 职场中的大型语言模型：基于提示工程的工作类型分类案例研究

    本篇文章研究了在真实情境中使用不同方法进行工作分类任务，其中使用了包括传统模型（如支持向量机）和最先进的深度学习方法（如 DeBERTa）在内的多个文本分类方法。研究表明，使用良好设计的提示，零 - shot GPT-3.5-turbo 分类器的性能优于所有其他模型，并且提示的措辞是激发模型适当 “推理” 的关键因素。

    Mar, 2023

  • 搜索提示：从合同生成结构化答案

    通过使用 OpenAI 的 GPT-3.5-Turbo，我们提出了一种基于模板的法律问题回答方法，采用探索方法论，并通过定性实验结果比较我们的方法与常见的语义匹配方法，发现尽管准确性较低，但我们的模板提示更加准确。通过对提示的进一步调整和上下文学习的使用，我们能够进一步提高我们的方法的性能和可靠性。

    Oct, 2023