Feb, 2024

理解迭代提示对真实性的影响

PDF
TL;DR大语言模型的发展已经明显改变了许多领域，提供了令人印象深刻的文本生成能力，然而模型的可靠性和真实性仍然是令人担忧的问题。为了解决这个问题，我们研究了迭代提示的方法，这被假设能够完善大语言模型的回答，并评估其对模型真实性的影响，这是一个尚未被彻底探索的领域。我们的大量实验深入探讨了迭代提示方法的细微差别，检查它们对模型回答的准确性和校准性的影响。我们的研究发现，朴素的提示方法严重损害了真实性，导致校准错误加剧。针对这些挑战，我们引入了几种设计用于解决已确定问题的提示变种。这些变种相比现有基准显示出明显的改善，为未来研究指明了一个有前途的方向。我们的工作提供了对迭代提示的微妙理解，并引入了增强大语言模型真实性的新方法，从而为开发更准确可信的 AI 系统做出了贡献。
large language modelsiterative promptingtruthfulnesscalibration errorsai systems
发现论文，激发创造
  • 设计合理思考：关于结构化提示对消除语言模型偏见的有效性的思考

    通过系统评估多种 LLM 模型和不同提示策略的方法，我们展示出基于第二系统推理提示的复杂方法在减少偏见的平均输出中表现更好，对下游任务具有竞争性能，这为以最终用户为焦点的评估框架在 LLM 使用方面提供了研究方向和潜力。

    May, 2024

  • 在 Llama 中定位撒谎：通过提示、探究和修补解析对真假问题上的指导诚实行为

    通过对大型语言模型进行研究，本文探究了指示性不诚实，即明确要求 LLaMA-2-70b-chat 撒谎，通过提示工程方法找到了最能引起撒谎行为的提示语，并使用机械性可解释性方法定位了网络中发生这种行为的位置，在这五个层中找出 46 个特别重要的注意力头，使我们能够有针对性地干预以使撒谎模型诚实回答问题，我们展示了这些干预对于多个提示和数据集分割都具有稳健的效果，总体而言，我们的工作有助于更深入理解 LLMs 中的不诚实行为，以便我们能够希望防止它的发生。

    Nov, 2023

  • 大型语言模型的上下文忠实提示

    本文探讨了大型语言模型在知识获取任务中通过设计启示策略，特别是意见为基础的提示和反事实演示，有效提高了上下文的真实性，并在三个数据集上进行实验，结果表明在上下文中的忠实度有了显著提高。

    Mar, 2023

  • 真实回答的语言属性

    通过 220 个手工制作的语言特征，研究了 LLM 的不实回答现象。重点关注 GPT-3 模型，并发现模型的语言特征在回答给定提示时保持相似。通过训练只依赖于模型响应的风格组件的支持向量机来分类陈述的真实性。尽管数据集大小限制了我们当前的发现，但我们提供有希望的证据表明可以在不评估内容本身的情况下检测真实性。

    May, 2023

  • 对话模型的节约提示

    研究了使用大型语言模型建立对话系统的不同方法，并分析了对话历史的表示方式，提出了一种更紧凑的提供对话历史信息的方法，从而有效减少模型 API 的成本。

    May, 2023

  • 大型语言模型如何在诚实和有帮助性之间进行平衡？

    使用心理模型和实验分析了大型语言模型的处理方式，发现强化学习通过人类反馈可提高诚实性和帮助性，而思维链提示则使语言模型偏向帮助性而牺牲了诚实性。最终，GPT-4 Turbo 展现出类似于人类的回应模式，包括对话框架和听者决策背景的敏感性，揭示了语言模型内化的对话价值观，并暗示即使是这些抽象价值也可在无需提示的情况下进行引导。

    Feb, 2024

  • LITO: 可学习的真实性优化干预

    LITO 提出了一种可学习的干预方法，通过识别特定语境下的最佳干预强度，提高真实性，并在高度不确定时选择最准确的回答或拒绝回答。

    May, 2024

  • 简单的 LLM 提示是稳健多语言对话评估的尖端技术

    研究通过结合当前评估模型的优势与新建立的提示性大语言模型的范式，提出了一种新颖的框架，以实现对对话的鲁棒性和多语言性评估能力，并在多个基准测试中取得了最先进的成果，并在 DSTC11 轨道 4 “开放领域对话系统的自动评估指标” 中分别在鲁棒性和多语言任务中名列前茅，证明了提示性大语言模型的评估能力。

    Aug, 2023

  • 增强事实性的语言模型用于开放式文本生成

    本研究针对大规模预训练的语言模型，设计测试集和度量标准以提高生成文本的事实准确性，提出了基于主题前缀和句子补全的事实增强训练方法，并提出了更适合提高准确性的采样算法。

    Jun, 2022

  • 基于提示的方法可能会低估大型语言模型的语言泛化能力

    本文比较了元语言激励和直接概率测量作为衡量英语知识的方法，并发现大语言模型的元语言判断低于直接从表示中派生出的数量。

    May, 2023