Oct, 2021

P- Adapters: 从多样化的提示中强大地提取语言模型中的事实信息

PDF
TL;DR本文旨在通过引入 P-Adapters 和 Mixture of Experts 模型，解决不同用户在使用不同措辞查询 Large Language Models（LLMs）时导致的事实信息提取和查询一致性的矛盾，并在 BERT 和 RoBERTa 上验证了 P-Adapters 在不需要额外注释情况下提高 12-26％的准确性和 36-50％的一致性的效果。
p-adaptersmixture of expertslarge language modelsfactual informationquery consistency
发现论文，激发创造
  • 掩码语言建模和适配器对事实知识注入的有效性

    本文研究了在大型预训练语言模型中注入实际知识的问题，并使用遮蔽语言建模目标训练 adapter 模块来评估该方法的成功性，证明该技术是有效的，将额外增加不到 2.1% 的参数到原始模型中即可提高在 LAMA 探针子集上的性能。

    Oct, 2022

  • 意识到提示的适配器：为多模态大型语言模型学习自适应的视觉特征

    为了弥补视觉和语言模态之间的差距，我们提出了 prompt-aware 适配器，这些适配器根据提示的特定焦点动态嵌入视觉输入，以从提示中捕捉到最相关的视觉线索，从而显著增强了大型语言模型理解和解释视觉内容的能力。实验表明 prompt-aware 适配器在各种视觉问答任务（如计数和位置推理）中的有效性。

    May, 2024

  • AdaPrompt：基于提示的自然语言处理自适应模型训练

    通过利用任务和提示的特征，AdaPrompt 使预训练语言模型不断预训练，提高了 NLP 方面几个基准测试中的表现，在零样本情况下相对误差降低了高达 26.35％。

    Feb, 2022

  • 事实探究是什么：学习 vs 学习回想

    本文主要介绍了使用 cloze-style prompts 和 OptiPrompt 等方式，旨在通过预训练语言模型来检索世界事实，并使用 fact prediction 等方式来确定模型预测准确性，并考虑这些 probing 结果是否被解释为下界，而不是固化自己的 prompt 方法从训练数据中获得的信息。

    Apr, 2021

  • 利用 LLM 中的提示克服复杂教育文本数据中的不平衡

    本文研究了如何利用具有断言的大型语言模型（LLMs）来缓解教育数据集中的不平衡问题，结果显示，与传统的机器学习（ML）模型相比，具有断言的 LLMs 在认知参与水平上明显优于传统模型，并且针对特定子集的敏感性研究表明，将断言加入到 LLM 中可提高其性能约 11.94%。

    Apr, 2024

  • 对话模型的节约提示

    研究了使用大型语言模型建立对话系统的不同方法，并分析了对话历史的表示方式，提出了一种更紧凑的提供对话历史信息的方法，从而有效减少模型 API 的成本。

    May, 2023

  • 基于提示的少样本表格文本生成适配器

    本文介绍了一种基于 Prompt-based Adapter (PA) 的方法，通过注入 prompt 模板对特定领域的知识和表格相关的表示进行数据增强，从而在少量样本情况下实现表格到文本的生成任务。相比之前的方法，在 Humans、Books 和 Songs 等三个数据集上，此方法表现更好。

    Feb, 2023

  • ExpertPrompting：指导大规模语言模型成为卓越专家

    本文介绍了一种使用 ExpertPrompting 技术的方法，通过 In-Context Learning 实现了定制化的指令，并将其用于训练基于 GPT-3.5 的 ExpertLLaMA 模型，实现了与 ChatGPT 相近的对话效果。

    May, 2023

  • 学会提问：使用软提示混合查询语言模型

    本文探讨了使用渐进式的梯度下降机制为先前的预训练语言模型 Fine-Tuning 提供含监听词库的句子造句模式，以从中提取模型对于文本特征的认知，并使用软词向量进行任务综合，将此方式与传统的任务方法进行对比，显示其在任务中的巨大性能提升，而随机初始化甚至可以代替详细的初始化方式，因此这种知识的提取可以廉价地实现。

    Apr, 2021

  • 混合提示专家用于可推广和可解释的问答

    该研究提出采用多专家模型集成的方式，使用不同的预测方法来解决传统单一模型难以泛化的问题，以在回答来自各种领域的问题时更好地表现。

    May, 2023