Jun, 2023

深度语言网络：使用变分推断联合训练堆叠的 LLMs

PDF
TL;DR本文提出了 Deep Language Network (DLN) 架构，通过 prompt 优化和变分推理算法，实现了运用较小、较弱 LLM 实现高性能的语言模型，以及进行 few-shot learning 的相关研究。
large language modelsdeep language networkprompt optimizationvariational inference algorithmfew-shot learning
发现论文，激发创造
  • 大型语言模型的图神经启动

    提出了图神经传递（GNP）方法，通过利用知识图谱，辅助预训练大型语言模型（LLMs）学习有益的知识，具有在常识和生物医学推理任务中的优越性能。

    Sep, 2023

  • 使提示可调整：基于贝叶斯建模的视觉 - 语言提示学习与数据相关先验

    利用贝叶斯框架中的 Prompt 学习方法，通过建模数据相关先验，减轻少样本学习中的过拟合问题，提高提示信息对未知样例的适应性，并展示相对现有方法在基准数据集上显著性能改进的统计结果。

    Jan, 2024

  • 通过动态视觉提示将预训练语言模型应用于视觉语言任务

    本文旨在研究使用预训练语言模型（Pre-trained language models，PLMs）作为一个独立的模型来进行视觉语言推理任务。提出了一个名为 Dynamic Visual Prompting（DVP）的新型转移学习方法，通过搜索算法，在保持 PLMs 参数完整性的情况下，有效地将其与不同的视觉语言任务相结合。经过广泛的实验验证，DVP 在效率和性能方面都具有优势，并且能够很好地适应预训练语言模型与 VL 任务相结合的需求。

    Jun, 2023

  • 语言模型作为视觉 - 语言模型的黑盒优化器

    通过自然语言提示，我们提出了一种新颖的视觉语言模型微调方法，利用基于对话的大型语言模型作为黑盒优化器，在少样本图像分类任务中通过对话过程中的文本反馈，自动搜索最佳文本提示，从而避免了对模型参数、特征嵌入或输出标签的访问。

    Sep, 2023

  • Prompt2Model: 从自然语言指令生成可部署的模型

    通过 Prompt2Model 方法，可以使用少量的提示，训练出性能优异、体积小 700 倍的特定目的模型，用于自然语言处理任务。

    Aug, 2023

  • 良好的提示价值数百万个参数：面向低资源的基于提示的视觉语言模型学习

    本论文研究了基于 prompt 的低资源视觉语言（VL）任务 few-shot 学习。 对大规模预训练的 VL 模型进行了实验，证明 FewVLM 在 VQA 任务上的效果优于 Frozen，而且能够达到比更大的模型 PICa 相当的结果。

    Oct, 2021

  • PromptChainer：通过可视化编程连接大型语言模型提示

    探索了基于 LLMs 的多次运行串联（即 chaining）的可视化编程过程，引入一个交互式界面 PromptChainer 来支持用户构建各种机器学习应用的原型。

    Mar, 2022

  • 双对齐下的上下文感知视觉 - 语言模型提示调优

    利用双重对齐提示调整 (DuAl-PT)，结合大规模视觉语言模型和预训练大型语言模型，在少样本识别和基于新样本泛化上取得了卓越的性能，为未来研究提供了强有力的基准。

    Sep, 2023

  • 对话模型的节约提示

    研究了使用大型语言模型建立对话系统的不同方法，并分析了对话历史的表示方式，提出了一种更紧凑的提供对话历史信息的方法，从而有效减少模型 API 的成本。

    May, 2023

  • 通过定向促发指导大型语言模型

    通过引入 “方向刺激提示” 框架，使用可调的语言模型（LM）为黑盒冷冻的大语言模型（LLM）在下游任务中提供指导，以重点提示 / 示范以及方向性刺激等手段协助 LLM 完成任务，通过验证取得了鼓舞人心的提升。

    Feb, 2023