本篇论文介绍了一种基于语言模型的 seq2seq 体系结构，重点介绍了少样本语义解析，并基于非注释数据引入联合训练、有约束的解码、自训练和重新表述这四种技术进行了自动方法来提高语义解析性能。结果表明，该方法在夜间数据集上提供了新的最优结果，并在新的语义解析数据集上提供了非常令人信服的少样本结果。

Apr, 2022

本文研究了针对语义分析的提示调整方法，发现在低资源分裂的情况下，提示调整的 T5-xl 能够显著优于其微调和强 GPT-3 和 BART 基线表现。随着模型规模的增大，提示调整的 T5 模型在生成目标表示方面得到了进一步提高。

Oct, 2021

通过对语言模型推理过程进行语义分析，我们提出了在层级上进行参数微调的方法，通过估计每个模型层的微调效果以及缩小微调的范围，我们的方法在 LM 微调中表现出有效且高效的特点。

Jun, 2024

应用语言模型结构代替任务特定的监督并使用卷积图编码器通过显式引入语义解析提高 NLU 任务的性能。

Dec, 2020

本研究聚焦于前缀调整 fine-tuning 技术，并提出了自适应前缀调整（APT）方法，结合门控机制实现对细粒度和粗粒度级别的前缀优化，实证实现了在 SuperGLUE 和 NER 数据集上的有效性和效率验证。

May, 2023

本文提出字首调整 (prefix-tuning)，来解决专用模型使用全量预训练语言模型的空间问题，自动学习小、定制化的向量。通过应用于自然语言生成和文本总结，仅使用 0.1% 的参数即能达到很好的性能。

Jan, 2021

本文提出了一种基于多任务框架和序列到序列模型的语义解析方法，旨在解决语料数据不足限制，较少标注数据任务可以通过从大量标注数据任务中传递学习的方式得到提升，实验结果在自己的数据集中获得了 1.0% 到 4.4% 的准确度提升，在 ATIS 语义解析任务中，准确度提升了 2.5% 到 7.0%。

Jun, 2017

本文介绍了一个用于训练连续表语义解析器的新方法，该方法整合了参数高效微调（PEFT）和上下文微调（ICT），通过冻结预训练模型骨干和微调小规模提示来完全避免灾难性遗忘，并且通过教师 - 学生框架解决了少样本学习问题，通过 ICT 获得上下文信息来演示几个训练样本，然后学生利用 PEFT 框架从教师的输出分布中学习，并将上下文信息压缩保存到提示中，消除了存储任何训练样本的需要。在两个基准测试中进行的实验评估确认了我们方法在各种度量标准上相对于常见的少样本和连续学习基准的优越性。

Oct, 2023

通过对 11B 参数的 encoder-decoder 模型和 540B 参数的 decoder-only 模型的 fine-tuning 参数、prompt-tuning 和 in-context learning 三种不同方法的比较，发现 pre-trained language models 在 semantic parsing 中在 out-of-distribution compositional generalization 上的 fine-tuning 表现较差，而 in-context learning 虽然具有正向的 scaling curve，但通常被远小于其的 fine-tuned models 胜出，唯独 prompt-tuning 能够胜出 fine-tuning，并为未来的工作提供了有希望的方向。

May, 2022

本文提出了一种新颖的无微调的自然语言处理模型 Fine-tuning-free strategy，通过使用语言和强任务感知的 teacher signal 进行交互式训练，提高了该模型在多项任务中的泛化性和鲁棒性，并且相对于大型模型如 GPT-3 和 InstructGPT 而言，该模型较小，只有 0.3B 的参数。

May, 2023