Jun, 2023

FPDM: 使用文档级元数据的领域特定快速预训练技术

PDF
TL;DR本研究提出了一种名为 FPDM 的快速预训练技术框架，利用文档元数据和特定领域的分类体系作为监督信号，以此来预先训练领域特定语料库上的变形金刚编码器，其中在域特定预训练期间，通过使用句子级嵌入作为输入来连续预先训练开放域编码器（以适应长文档），然而，将使用令牌级嵌入作为这种编码器的输入来进行微调。
transformerspre-trainingfpdmmetadatasupervision signals
发现论文，激发创造
  • 领域适配器混合模型：从预训练语言模型中解耦和注入领域知识

    本文介绍了一种基于预训练语言模型和适应领域的新型领域自适应方法，通过两个阶段的适配器调整策略（在无标签数据上先进行领域适配器调整，然后进行标签数据上的任务适配器调整），可以同时提高在特定领域、跨领域和知识密集型任务中的性能。

    Jun, 2023

  • FDAPT：面向领域自适应的联邦预训练语言模型

    本文首次全面实证研究，将域自适应预训练 (DAPT) 与联邦学习 (FL) 结合，可以在保护数据隐私的同时，通过利用更敏感和分布式的数据来增强模型适应性。我们提出一种新的算法，Frozen Federated Domain-adaptive Pre-training (FFDAPT)，平均节省 12.1% 的计算资源，并在 IID 和非 - IID 情况下均能保持与中心化模型相当的表现。

    Jul, 2023

  • FTFT：高效稳健的微调算法 —— 通过迁移训练动态

    通过数据映射方法和引入训练动态的方式，本文提出一种新的微调方法（FTFT），相比传统的经验风险最小化方法（ERM），该方法在训练成本减半的情况下达到更好的泛化鲁棒性。

    Oct, 2023

  • 元学习用于多领域文本挖掘的神经语言模型的微调

    本文提出了一种名为 Meta Fine-Tuning (MFT) 的有效学习过程，该过程可作为元学习器解决多个相似的自然语言处理任务，以获取高度可转移的知识，并通过优化一系列新颖的领域破坏损失函数来鼓励语言模型对领域不变表示进行编码。实验证明，MFT 对于小样本学习具有很大的用途。

    Mar, 2020

  • FETILDA：长篇财经文本嵌入的有效调优框架

    我们提出并实现了一个利用预训练语言模型处理长文本文档的深度学习框架，将长文档分成块，并利用自注意力机制提取有价值的文档级特征，该框架在美国银行的 10-K 公开披露报告和其他美国公司提交的报告数据集上表现出色，是文本建模和回归模型的更好选择，利用预训练的领域特定和微调的模型在表示文本数据方面的效果较好，从而有助于提高预测分析的质量。

    Jun, 2022

  • 预训练语言模型用于电力时间序列预测

    通过使用预先在自然语言或图像数据上进行训练的 Transformer 模型，并通过最小修改进行微调，我们在时序预测任务上评估了 Frozen Pretrained Transformer (FPT) 的效果，并发现其性能在跨模态时序预测任务中可以与同模态微调相媲美甚至处于最前沿状态。

    Feb, 2023

  • MDAPT: 单模型多语种领域自适应预训练

    本研究旨在探究利用领域自适应预训练的方法，结合多语言语料库来同时训练一个领域特定和多语言的语言模型，从而提高目标领域内不同语言任务的文本建模能力。研究结果表明，用这种模型在生物医学命名实体识别和金融句子分类等多个领域特定数据集上进行测试，可以比一般的多语言模型表现更好，接近于单语言情况下的性能表现。

    Sep, 2021

  • SPDF：大型语言模型的稀疏预训练和密集微调

    本文提出了一种基于稀疏先训练和密集微调的预训练语言模型方法，可将训练 FLOPs 的数量降低到原来的 2.5 倍，同时保持与密集基线相同的下游任务准确性。该方法为训练大规模 GPT 模型提供了一个可行的方向。

    Mar, 2023

  • 使用统一文本到文本转换 Transformer 进行极端多领域、多任务学习

    研究了多领域文本转换转换器在 Python Code 和 Chess 领域中 4 个任务上的行为，发现 GPT 风格的联合预训练 + 联合微调策略在多领域，多任务学习中表现最好。

    Sep, 2022

  • 文本分类的对抗自监督无数据蒸馏

    提出一种名为 AS-DFD 的新的两阶段无数据蒸馏方法，用于压缩大型基于 Transformer 的模型（例如 BERT），并且是第一个面向 NLP 任务设计的无数据蒸馏框架，在 Text Classification 数据集上验证了其有效性。

    Oct, 2020