Mar, 2024

因果启发式：基于前门调整的大型语言模型提示去偏

PDF
TL;DR通过揭示结构性因果模型的因果关系，提出了一种基于前门调整的新颖因果提示方法，通过设计不访问大型语言模型的参数和逻辑回归的提示，实施因果干预，并通过前门调整计算输入提示和输出答案之间的因果效应来减轻模型偏差。
发现论文，激发创造
  • 驾驭 LLMs 朝向无偏响应：一个因果引导的去偏框架

    使用因果理解指导设计提示机制的去偏置语言模型框架，能有效减少大型语言模型中的社会偏见。

    Mar, 2024

  • 设计合理思考：关于结构化提示对消除语言模型偏见的有效性的思考

    通过系统评估多种 LLM 模型和不同提示策略的方法，我们展示出基于第二系统推理提示的复杂方法在减少偏见的平均输出中表现更好，对下游任务具有竞争性能，这为以最终用户为焦点的评估框架在 LLM 使用方面提供了研究方向和潜力。

    May, 2024

  • 对话场景外提示提升大型语言模型预测的公平性和鲁棒性

    通过利用因果关系作为一种工具来提高大型语言模型的可信度，我们提出了一种测试时解决方案 —— 利用开放背景提示来鼓励公平性和稳健性，以使模型在不同基准数据集上提供更可靠的预测。

    Jun, 2024

  • 大型语言模型的上下文忠实提示

    本文探讨了大型语言模型在知识获取任务中通过设计启示策略，特别是意见为基础的提示和反事实演示，有效提高了上下文的真实性，并在三个数据集上进行实验，结果表明在上下文中的忠实度有了显著提高。

    Mar, 2023

  • 大语言模型的公平指导少样本提示

    本文提出了一个度量标准，评估了一个固定提示对标签或给定属性的预测偏差，并提出了一种新的基于贪心搜索的搜索策略来确定最佳提示，以提高上下文学习的性能，并在多种下游任务中使用 GPT-3 等最先进的主流模型进行全面实验。结果表明，我们的方法可以有效提高模型的在上下文学习性能。

    Mar, 2023

  • 预训练语言模型是否可疑？从因果视角理解隐形风险

    本文探讨了基于问题提示的探测方法可能存在的偏见、不一致性和不可靠性，强调了通过因果干预来消除偏差的必要性，并提出了更好的数据集设计、探测框架和更可靠的预训练语言模型评估标准。

    Mar, 2022

  • 大型语言模型的高效提示方法综述

    在这篇论文中，我们对高效提示的各种方法进行了全面的概述，包括使用高效计算和高效设计进行提示的方法，重点关注未来的研究方向。

    Apr, 2024

  • 通过定向促发指导大型语言模型

    通过引入 “方向刺激提示” 框架，使用可调的语言模型（LM）为黑盒冷冻的大语言模型（LLM）在下游任务中提供指导，以重点提示 / 示范以及方向性刺激等手段协助 LLM 完成任务，通过验证取得了鼓舞人心的提升。

    Feb, 2023

  • 自回归大型语言模型中的提示

    自回归大语言模型已经改变了自然语言处理领域的格局。基于预训练和提示范式的方法已经取代了常规的预训练和微调方法用于许多下游自然语言处理任务。本文讨论了已经在自回归大语言模型上使用的各种提示技术，提供了一个基于这个分类体系的简明调研，并且确定了自回归大语言模型中提示领域的一些未解决问题，可作为未来研究的方向。

    Nov, 2023

  • 基于提示和微调的 LLM 与因果图验证

    该研究旨在利用自然语言处理技术通过文本来源对因果图进行自动验证。与之前的研究成果相比，该研究发现经过精调的预训练语言模型在因果关系分类任务上表现远超基于提示的语言模型，F1 得分最高提高了 20.5 个百分点。

    May, 2024