本文提出了一种使用计算有效的适配器方法在多个不同领域适应的方法，其通过冻结预先训练的语言模型并与每个节点相关联的适配器权重组合，实现相关领域之间的参数共享。GPT-2 和 C4 中最多的 100 个网站上的实验结果表明，这种方法可以全面提高领域内性能，并提供了一种推理时间算法来推出新领域的泛化性能，同时只能增加成本。

Dec, 2021

本文提出了一种可扩展的词向量训练方法，通过将输入空间进行分区来缩放到大规模文本语料库，同时不牺牲向量的性能，并在各种 NLP 基准测试中实现了可比较的甚至高达 45％的性能改进。

Dec, 2018

本文介绍了一种开发特定领域小型、快速和有效的预训练模型的通用方法，该方法通过对通用预训练模型进行调整，以及在目标领域进行任务无关的知识蒸馏来实现。具体而言，在适应阶段，我们提出了领域特定词汇扩展，并使用语料库级别出现概率自动选择增量词汇表的大小。然后，我们系统地探索了压缩特定领域的大型预训练模型的不同策略。实验结果表明，我们的方法在生物医学和计算机科学领域的特定任务中表现优于 BERT BASE 模型，同时比 BERT BASE 小 3.3 倍，快 5.1 倍。

Jun, 2021

本论文演示了一种使用稀疏性和数据流的端到端训练流程，用于对一个大型语言模型（13 亿 GPT）进行高效训练，能够成功训练出与稠密模型相同质量的结果，并获得 4.5 倍于基线的端到端加速。

Apr, 2023

通过使用 O（1）MH 采样算法，结构性并行模型方案和有界异步数据并行方案，本文展示了只需要 8 台机器即可在网页级语料库上训练具有 1 亿个主题和 100 万个单词的主题模型（共计 1 万亿个参数），这是目前尚未用数千台机器实现的规模，并且随着集群规模的增加，仍然享有比的时间成本降低，这代表了一项重大的技术突破。

Dec, 2014

本研究旨在探讨利用不同应用范畴的大规模培训数据，构建单一领域不变模型的想法，以达到普适性应用并允许快速自适应，并通过实验证明培训模型的可行性和适应性。

Aug, 2018

本篇论文首次尝试使用 EM 算法提升词汇表学习并应用于大规模无监督翻译，利用阈值和词类进行序列稀疏化和词汇训练，并在两个大规模无监督翻译任务上取得了良好的结果。

Jan, 2019

该研究提出了一种基于适应性集成的无监督领域自适应框架，具有新颖的文本分类模型和时域训练，适用于历时文献，实验证明其性能优异，与强基准模型相比，更加稳定，具有更好的提取干净语料库的表现，可应用于政治科学等领域的研究。

Oct, 2019

本文提出了使用 BASELayers 的稀疏缩放架构来缓解多任务学习中高资源任务偏差的问题，并通过温度加热机制和密集预训练两种技术来提高多语言机器翻译的性能。该方法在两个多语言翻译基准测试中的收敛速度比标准的 BASELayers 和密集缩放基线快了两倍以上。

Oct, 2021

本文提出了一种使用预训练语言模型的信息检索模型 SPLADE，介绍了它在处理实际场景中的鲁棒性及其存在的问题，最后提出了一种无监督领域自适应方法，通过补充语料库中的低频词汇并使用逆文档频率权重来提高检索性能。实验结果表明，该方法在具有大量词汇差距的数据集上优于当前最先进的领域自适应方法，并与 BM25 相结合取得了最新的性能结果。

Nov, 2022