通过将输入句子分解为单个标记并对每个标记应用一个提示模板，我们提出了一种名为 ToPro 的基于提示的方法，用于标记任务的标记级序列标注。在多语言 NER 和 POS 标记数据集上的实验证明，与 Vanilla fine-tuning 和 Prompt-Tuning 相比，ToPro-based fine-tuning 在零样本跨语言迁移方面表现优秀，尤其对于与源语言英语在语言类型上有所不同的语言。此外，我们在多语言大语言模型上的初步研究表明，ToPro 的性能要远远优于当前的上下文学习方法。总体而言，性能的提升表明 ToPro 有望成为标记任务的一种新颖且简单的基准方法。

Jan, 2024

本研究提出了分区多模态提示方法（PMPO），将软提示从单个可学习提示扩展到多个提示，以捕获视觉表示的分层上下文深度。此外，我们结合手动设计的模板和可学习的多提示，以提高方法的泛化能力，并在新类别概括、跨数据集评估和领域泛化等三项具有挑战性的任务上验证了它的有效性。

May, 2023

使用 Mixture-of-Expert 范例，将问题空间划分为子区域，为每个区域构建专业专家，通过演示集和一条指令来实现任务的智能引导。

Jun, 2024

利用大型语言模型（LLM）生成边界类别的具有正确标签的辅助数据，从而促进了知识传递并改善了文本分类任务中的数据增强效果。

Oct, 2023

采用混合启示法和智能门控功能的多任务学习可以显著降低语言模型的困惑度。

Oct, 2023

本文尝试将最新的数据增强技术 Mixup 应用于自然语言处理领域，特别是在与 NLP 相关的 transformer-based 学习模型中。实验结果表明，Mixup 在预训练的语言模型中是一个独立于领域的数据增强技术，能够显著提高其性能。

Oct, 2020

本文介绍了一种利用大型语言模型作为数据增强工具的技术，即利用软提示的混合模型进行参数有效的数据生成，并通过去噪机制提高生成数据的质量，此方法能够在复杂预测任务中实现对标签语义的保留，达到优于强基准的最新结果。

Mar, 2023

该研究通过 Model-tuning Via Prompts (MVP) 修改输入而非模型以适应下游任务，在三个分类数据集上提高对抗性的稳健性，超过标准方法平均 8％和对抗性训练的最新防御技术 3.5％。研究结果发现多层感知器 (MLP) 易受对抗性扰动的影响归因于预训练和微调任务之间的不匹配和 MLP 参数的随机初始化。

Mar, 2023

提出了一种名为 DoubleMix 的插值数据增强方法，通过合成的数据集和原始数据集在神经模型的隐藏空间中进行插值，以及学习隐藏空间中的 “偏移” 特征来提高模型的鲁棒性，在六个文本分类基准数据集上，该方法优于几种流行的文本增强技术，同时在低资源情况下也能保持性能的提升。

Sep, 2022

本研究提出了一种基于生产系统的模型 PRopS，可以通过学习将任务说明或输入元数据转换为连续提示以从 PLMs 中产生特定的输出，从而取得了比其他迁移学习技术更好的结果。

Jul, 2023