EMNLPMar, 2021

改进和简化模式利用训练

PDF
TL;DR本文介绍了一种名为 ADAPET 的方法，可以在没有无标注数据的情况下提高 few-shot learning 的性能，在 SuperGLUE 基准测试中表现优于 Pattern Exploiting Training。
pre-trained language modelssupergluefew-shot learningpattern exploiting trainingadapet
发现论文，激发创造
  • 利用模式挖掘训练的少样本文本生成

    该研究中，给出了一种基于预训练语言模型和样本示例结合的方法来解决文本生成的任务，并介绍了基于此方法的 GenPET。实验表明，该方法在摘要和标题生成数据集上的表现均优于常规方法。

    Dec, 2020

  • 利用 Cloze 问题进行少样本文本分类和自然语言推理

    本文介绍了一种半监督式的训练程序，称之为 PET，用来在低资源环境下学习某些 NLP 任务，并通过将输入示例转化为填空样式的短语来帮助语言模型理解给定任务

    Jan, 2020

  • 利用模式挖掘训练增强表格推理

    本文采用 Pattern-Exploiting Training 技术对预训练语言模型进行强化，在知识事实和表格推理方面优于当前基准，且更有效地支持信息选项卡的底层推理任务，且该模型对各种字符和单词级扰动具有鲁棒性。

    Oct, 2022

  • Active PETs: 利用 Pattern Exploiting 训练进行少样本论断验证的主动数据标注优先性

    提出 Active PETs 方法，利用多种语言模型的 Pattern Exploiting Training 模型的集成来主动选择未标记数据作为标注候选数据。在使用六个不同的预训练语言模型和两个技术事实验证数据集的 few-shot 数据选择上，使用 Active PETs 显示持续改进基线方法，并通过 Active PETs-o 取得更进一步的提高。该方法能够有效选择要标记的实例，即在未标记数据充足但标记资源有限的情况下，使得 few-shot 辩称验证性能持续提高。

    Aug, 2022

  • SocialPET: 社交媒体中少样本立场检测的社交信息指导模式利用训练

    社交媒体上的立场检测任务中，我们提出了一种社交感知的方法 SocialPET 来利用语言模型，该方法在仅拥有少量标注实例的情况下，在两个立场数据集上表现出色。

    Mar, 2024

  • 用于大型预训练语言模型参数高效微调的神经架构搜索

    探讨了一种基于网络剪枝的高效的神经架构搜索方法用于学习预训练模型的参数优化方法 (Parameter-efficient tuning)，并在 GLUE 上的实验结果表明算法的有效性以及 PET 网络结构设计的实际表现。

    May, 2023

  • 任意少参数足以适应大规模预训练语言模型

    本研究发现模型缩放可以缓解调整方法的设计差异，并使调整方法优化更少的参数以实现全参数微调性能，并探讨了此现象与优化角度的机制，这些结论不仅证明了模型缩放对调整方法的积极影响，还披露了其机制，有助于我们设计更有效和高效的调整方法。

    Jun, 2023

  • 参数高效调节与通用视觉语言模型的结合

    通过参数高效调优，利用指令调整和多模态对齐的方法，本研究提出了一种新的通用视觉 - 语言模型训练方法 PETAL，其通过独特的模式近似技术，显著减少了训练成本和对重计算资源的依赖，并在语义深度方面进行了改进。实验证明，PETAL 在多个方面超越了现有最先进的方法，同时在少样本设置中也展现了出色的优势。

    Dec, 2023

  • 参数高效的长尾识别

    通过引入 PEL 方法，该研究通过少于 20 个时期的微调，无需额外数据即可适应长尾识别任务，并通过在分类器初始化中采用 CLIP 文本编码器的新颖技术解决了过度拟合问题，从而持续优于之前的最佳方法。

    Sep, 2023

  • 习惯用语检测的高效样本方法

    本篇研究旨在探究识别成语化多词表达的高效方法，通过 Pattern Exploit Training 和 BERTRAM 两种少样本分类方法，以及探索不在训练数据中的多词表达的识别，提高英语的表现，但对葡萄牙语和加利西亚语的效果较差。

    May, 2022