Apr, 2024

TextGram：迈向更好的领域自适应预训练

PDF
TL;DR衡量和减少大型语言模型训练过程中产生的碳排放量对于绿色人工智能至关重要。我们提出了一种领域自适应数据选择方法 - TextGram，能够有效地从大规模语料库中选择关键数据，并展示了该策略在文本分类任务中相对于其他选择方法的优势。
green aicarbon footprintlarge language modelsdata selectiontextgram
发现论文，激发创造
  • 预训练语言模型中的无监督域聚类

    本文提出了一种基于大规模预训练语言模型的领域数据选择方法，通过度量句子的隐式相似性进行聚类，仅需要少量数据即可有效提高神经机器翻译的准确性。

    Apr, 2020

  • 低资源领域适应的多阶段预训练

    本文研究使用预训练语言模型的转移学习、领域特定术语扩展词汇表以及利用未标记数据结构创造辅助合成任务等方法，在 IT 领域的三个任务中，采用逐步应用的策略在预先训练的 Roberta-large LM 上显示出显着的性能提升。

    Oct, 2020

  • 不要停止预训练：将语言模型适应于领域和任务

    本研究通过研究不同领域和任务的分类模型，验证了在特定领域和任务上进行二次预训练（领域自适应和任务自适应预训练）可以显著提高性能，同时也发现多阶段适应预训练在任务表现上取得了大幅提升。

    Apr, 2020

  • 预训练数据的成本效益选择：在社交媒体上预训练 BERT 的案例研究

    本文讲述了如何在特定领域的 BERT 模型中使用社交媒体文本进行预训练，通过相似度计算筛选出有效的预训练数据，并实验验证了在推特和论坛文本上进行预训练的模型可以提高下游任务的效果。

    Oct, 2020

  • 预训练语言模型的高效分层领域自适应

    本文提出了一种使用计算有效的适配器方法在多个不同领域适应的方法，其通过冻结预先训练的语言模型并与每个节点相关联的适配器权重组合，实现相关领域之间的参数共享。GPT-2 和 C4 中最多的 100 个网站上的实验结果表明，这种方法可以全面提高领域内性能，并提供了一种推理时间算法来推出新领域的泛化性能，同时只能增加成本。

    Dec, 2021

  • 适应并蒸馏：为特定领域开发小型、快速且高效的预训练语言模型

    本文介绍了一种开发特定领域小型、快速和有效的预训练模型的通用方法，该方法通过对通用预训练模型进行调整，以及在目标领域进行任务无关的知识蒸馏来实现。具体而言，在适应阶段，我们提出了领域特定词汇扩展，并使用语料库级别出现概率自动选择增量词汇表的大小。然后，我们系统地探索了压缩特定领域的大型预训练模型的不同策略。实验结果表明，我们的方法在生物医学和计算机科学领域的特定任务中表现优于 BERT BASE 模型，同时比 BERT BASE 小 3.3 倍，快 5.1 倍。

    Jun, 2021

  • 预训练模型训练数据指南：测量数据的年龄、领域覆盖、质量和毒性的影响

    对预训练数据合理性进行了研究，为语言模型开发做出了数据方面的决策提供支持。

    May, 2023

  • 文本分类任务自适应预训练的简单高效方法

    该文章研究了在 TAPT 过程中只训练 BERT 模型的嵌入层对模型性能的影响，并提出了一种简单的方法来使 BERT 模型在中间步骤更加高效，该方法是培训 BERT 模型的嵌入层，可以适应目标领域的词汇并达到可比较的性能。

    Sep, 2022

  • 自适应分词的语言模型高效域适应

    通过适应标记器，将预训练语言模型转移到新领域，提供了与基于专门领域的预训练方法相当的性能，同时生成的模型更小且训练和推断时间更短。

    Sep, 2021

  • 无文本多域图形预训练：走向图形基础模型

    MDGPT 是一个用于图学习的多领域图预训练和适应性框架，通过多领域知识的利用来解决不同领域的图数据对齐和适应的问题，并在多个公开数据集上进行了实验验证，超越了先前的研究成果 37.9%。

    May, 2024