- 通过元学习学习更好的软提示初始化
本文提出了 MetaPT,一种基于元学习的预训练方法来对话题进行自适应,并在 7 个下游任务中展示了比现有方法更好的性能和稳定性。
- PDD:基于提示和动态演示的少样本自然语言推断生成
在少样本情况下,本文提出了一种带提示和动态演示的语言模型(LM-PDD)来解决自然语言推理生成任务问题,该方法在 SNLI 和 MNLI 数据集上比标准微调模型有着 8% 的平均绝对改进,并且在 13 种自然语言分类任务上表现良好,可以用于 - ACL一种少样本情感分析的生成语言模型
本篇论文研究了使用预训练语言模型在情感分析任务,尤其是针对少量数据的方面 - 基础情感分析,提出了一种生成式语言模型来处理抽取方面、抽取类别、预测极性等任务,并证明了这种方法在多任务、少样本学习上比以前的方法有更好的表现。
- 预训练词频对少样本推理的影响
本文研究预训练语言模型在数值推理方面的能力,以及该能力强弱与预训练数据中各项词语的出现频率之间的关系。研究结果表明,模型对出现频率较高的词语表现更为准确。此外,作者认为在解释理论评价结果时,应考虑到预训练数据带来的影响。
- AdaPrompt:基于提示的自然语言处理自适应模型训练
通过利用任务和提示的特征,AdaPrompt 使预训练语言模型不断预训练,提高了 NLP 方面几个基准测试中的表现,在零样本情况下相对误差降低了高达 26.35%。
- VT-CLIP: 使用视觉引导文本增强视觉语言模型
提出一种名为 VT-CLIP 的方法来增强 CLIP 模型,它通过可视化引导文本,使文本的特征更适应图片,在多分类任务中表现出很高的效果。
- EMNLP自我训练与任务增强的少样本学习方法 - STraTA
STraTA 提出了一种新方法,即自训练 + 任务增强,通过任务增强技术和伪标记的数据进行自训练,以在少样本情况下有效提高预训练语言模型的效率。实验证明,STraTA 方法可以在 12 个少样本基准测试中显著提高样本效率。
- 基于能量学习的场景图生成
本文介绍了一种基于能量的学习框架,用于生成场景图,允许将场景图的结构有效地纳入输出空间中,通过在学习框架中添加一些约束条件,可以最终提高模型的性能,在视觉基因组和 GQA 基准数据集上的性能提高了 21%和 27%,在零样本和少样本情况下优 - Few-shot 知识模型中常识性的分析
本研究验证了常识知识模型可以通过训练少量样例快速适应共现的常识知识表示能力,并发现有关该接口是如何学习的新见解。
- ACL基于实例的含义预测及观测者
本论文旨在提出一种有效的适应新领域的可扩展模型,该模型使用观察者和基于示例的训练方法提高了话语分类模型的概括能力,并实现在银行,CLINC150 和 HWU64 上进行的语言意图识别中,采用以上方法获得了最先进的结果。