Mar, 2024

通过重述前缀提示编辑语言模型的知识表示

PDF
TL;DR我们介绍了一种名为 PSPEM 的新方法，它可以解决知识编辑方法的低效性和通用性问题，通过自动寻找最佳软提示来克服提示工程的不透明性，从而在效率和准确性之间保持最佳平衡。我们通过知识编辑和属性插入验证了 PSPEM 的有效性，在 COUNTERFACT 数据集上实现了近 100％的编辑准确性，并展示了最高水平的流畅性。
neural language modelsknowledge editing methodsprompt engineeringpspemediting accuracy
发现论文，激发创造
  • SPE: 对称提示增强事实探测

    本研究介绍一种基于预训练语言模型的对称连续提示增强方法（SPE），该方法可以提高预训练语言模型在常用事实性任务探测数据集（LAMA）上的探测精度。

    Nov, 2022

  • 基于通信理论的大型语言模型的促进工程方法

    大型语言模型的兴起改变了自然语言处理领域从单任务导向到全面的端到端多任务学习范式，其中基于大型语言模型的提示方法引起了广泛关注，尤其是由于提示工程的技术优势以及不同提示方法揭示的自然语言处理原理。本研究旨在通过建立通信理论框架来评述现有的提示工程方法，深入了解其中在四个典型任务中的发展趋势，并为未来的提示工程方法指明有前途的研究方向。

    Oct, 2023

  • 基于 LLM 的语义提示进化：SPELL

    通过使用大型语言模型，本研究提出了一种基于黑盒演化算法的语义提示进化方法，能够迅速改进文本提示的性能。

    Oct, 2023

  • 深思熟虑：问题拓展引导提升大型语言模型的数学推理能力

    使用 Problem Elaboration Prompting（PEP）改善大型语言模型（LLMs）的数学能力，在复杂推理和问题背景理解方面取得了有希望的表现。

    Feb, 2024

  • 提示工程师的提示工程

    通过构建元提示（meta-prompt）从而更有效地引导大型语言模型（LLMs）进行自动提示工程，进而优化其性能。

    Nov, 2023

  • 预训练语言模型中的知识激发对自然语言理解的影响

    本研究提出了知识提示范式和基于知识提示的 Pre-trained 语言模型 KP-PLM 框架，该框架通过多种连续提示规则将知识子图转化为自然语言提示，并在这些提示的基础上提出了两个新的知识感知无监督任务，实验证明了 KP-PLM 在多个自然语言理解任务中的优越性。

    Oct, 2022

  • 知识提示：通过柔性提示将世界知识注入语言模型

    本文提出使用软提示的方法将世界知识应用到大型自然语言模型中，通过自监督学习在知识库数据上训练软提示，得到的软知识提示可以被用于提高语言模型在不同知识密集型任务中的性能。

    Oct, 2022

  • 提示作为探究：利用语言模型进行知识库构建

    本文提出了一种名为 ProP 的方法，它利用 GPT-3 这个大型语言模型进行知识库构建任务，结合多种提示技巧，结果表明手动提示的重要性、变长回答集的有效用处以及实体别名字典的效用等，从而获得了较高的预测质量。

    Aug, 2022

  • 视觉语言提示学习中的重参数化编码器

    PRE 是一种简单而高效的方法，通过使用一种 prompt 编码器来重新参数化输入 prompt 嵌入，从而增强对从少量样本中探索任务特定知识的能力，其在新类上实现了 5.60% 的平均准确率提升和 3% 的调和平均数提升。

    Sep, 2023

  • 使用人工标注的大型语言模型进行自纠正机器翻译

    在本文中，我们进行了一个试点研究，通过在翻译记忆中标记错误并提取类似的例子来引导大型语言模型（LLMs）在技术领域中进行术语翻译以提高翻译质量。实验证明，通过增加人工标记错误的翻译可以引导 LLM 集中于错误修正，相比于自动后期编辑（APE）和从头开始的机器翻译，有着持续的改进。

    Jun, 2024