Nov, 2022

多视角压缩表示与低资源微调的鲁棒性研究

PDF
TL;DR本文提出了一种新颖的方法，通过在预训练语言模型的隐藏表示上操作，通过将自编码器插入到 PLM 的隐藏层之间，将以前层的激活转换为多视图压缩表示，然后输入到上层，以减少过拟合。此方法展示了在各种序列和标记级别的低资源 NLP 任务中的性能改进。
pretrained language modelsoverfittingfine-tuningautoencoderslow-resource nlp
发现论文，激发创造
  • 元学习差异性：为大型语言模型准备高效迁移

    该论文提出了一种通过学习区分微调和适应性 PLMs 的方法，使用动态低秩重参数化和学习结构控制器来实现数据和参数高效的自适应，并在对话完成、摘要生成等任务上展示出明显提升。

    Jul, 2022

  • 低资源命名实体识别的预训练编码器比较研究

    该研究比较了不同策略下的预训练编码器在低数据量情境下的命名实体识别表现，结果表明编码器表现存在显著差异，并需要结合具体场景进行评估选择。

    Apr, 2022

  • 联合重新参数化的多层适应性用于高效和私密调整

    本研究提出了一种新的语言转换微调策略，它在多个转换器层中引入了特定于任务的参数，这些参数是来自单一可训练向量的固定随机投影，使微调具有明显更少的参数，从而实现了 “低资源应用程序及带隐私约束条件训练” 条件下的有效性和性能。

    May, 2023

  • 通过主动遗忘预训练以提高语言可塑性

    本文提出使用主动遗忘机制作为预训练过程中的一种简单方法，以创建能够快速适应新语言的 PLMs。实验证明，与标准模型相比，在资源匮乏的情况下，使用遗忘机制的预先训练模型不仅在语言适应过程中表现出更快的收敛速度，而且在特别是对于与英语不同的语言来说表现更佳。

    Jul, 2023

  • 预训练语言模型在低资源文本上的泛化和稳定调优

    基于注意力引导的权重混合和双层优化框架，我们提出了一种用于预训练语言模型的微调方法，以解决在低资源数据集上微调模型时的不稳定性和过拟合问题，在广泛的实验中验证了该方法的有效性和优越性。

    Mar, 2024

  • HyPe: 利用隐藏表示扰动来更好地微调预训练语言模型

    本研究提出了一种名为 HyPe 的 Fine-tuning 技术，该技术通过扰动 Transformers 层的隐藏表示来缓解 Fine-tuning 中的过拟合和表示坍塌问题，并在 GLUE 等自然语言推理数据集上进行了实验，结果表明，HyPe 优于基本的 Fine-tuning 技术且不会增加额外的计算成本。

    Dec, 2022

  • COST-EFF：细化多出口语言模型在空间和时间效率上的协同优化

    提出了一种用于 PLM 的协作优化算法，该算法集成了静态模型压缩和动态推理加速，通过在宽度上将 PLM 变得苗条同时保持深度，同时补充逐层早期退出以动态加速推理。

    Oct, 2022

  • 通过多语言自适应微调将预训练语言模型改进到非洲语言

    本文通过多语言自适应微调方法，改进了前馈神经网络 (AfriBERTa 和 XLM-R) 模型，使其适配 17 种最常用的非洲语言及其他 3 种在非洲大陆广泛使用的高资源语言，在 NER、新闻主题分类和情感分类等自然语言处理任务中具有竞争性，且需要的磁盘空间明显少于单个语言的自适应微调方法。同时，本文的适配模型还能够改善参数效率微调方法的零 - shot 跨语言转移能力。

    Apr, 2022

  • 用于大型预训练语言模型参数高效微调的神经架构搜索

    探讨了一种基于网络剪枝的高效的神经架构搜索方法用于学习预训练模型的参数优化方法 (Parameter-efficient tuning)，并在 GLUE 上的实验结果表明算法的有效性以及 PET 网络结构设计的实际表现。

    May, 2023

  • 基于矩阵积算子的预训练语言模型压缩的轻量级微调

    提出了一种基于量子多体物理中的矩阵积算符（简称 MPO）的新型预训练语言模型压缩方法，其可以将原始的矩阵分解成中心张量和辅助张量，通过仅更新辅助张量的参数进行微调并为 MPO 结构设计优化算法，可应用于原始或压缩的语言模型以实现更轻量级的网络和显著减少微调参数。

    Jun, 2021