提出了一种基于生命周期学习的方法，通过从未见过的数据中提取有意义的表示，构建结构化知识库，逐步提高任务性能，实验结果表明该方法相比于精调的基础语言模型可提高 4%~36% 的模型准确度，并在 STS 基准任务上表现出与 T5 模型相比具有竞争力或超越性能的优势（准确度提高 15.4%）。

Nov, 2023

我们提出了一个训练免费的集成框架 DEEPEN，通过平均不同大型语言模型输出的概率分布来解决现有方法中的词汇差异问题，并在涉及主观考试、推理和知识问答的六个流行基准测试中获得了一致的改进效果。

Apr, 2024

大语言模型的扩展和效率提升方法的开放资源，以及展示优于其他模型的跨语言语言建模能力和核心设计。

Apr, 2024

近期大型语言模型（LLMs）在各种风格和体裁的文本生成方面展示了惊人的能力。然而，这种能力容易被滥用，如虚假新闻生成、垃圾电子邮件创建以及在学术作业中的误用。因此，建立能够区分人工生成文本和人类作者文本的自动化方法至关重要。本文提出了一种简单而高效的解决方案，通过集成多个组成 LLM 的预测来解决这个问题。相较于以往基于困惑度或使用众多 LLM 的集成方法，我们的简化集成方法仅使用两个组成 LLM 即可达到可比较的性能。在四个生成文本分类基准数据集上进行的实验证明，与以往的最先进方法相比，性能提升范围在 0.5％到 100％之间。我们还研究了来自各个 LLM 的训练数据对模型性能的影响。结果表明，将商业限制的生成预训练变压器（GPT）数据替换为其他开放语言模型生成的数据，如 Falcon、Large Language Model Meta AI（LLaMA2）和 Mosaic Pretrained Transformers（MPT），是开发生成文本检测器的可行替代方法。此外，为了展示零 - shot 推广能力，我们在一个英语散文数据集上进行了实验，结果表明我们的集成方法可以有效处理新数据。

Nov, 2023

本研究提出了一种名为 EFL 的新方法，将潜在的自然语言处理任务重新表述为蕴含任务，并在少至 8 个样例的情况下微调模型，进而证明该方法可以自然地与无监督对比学习数据增强方法相结合，易于扩展为多语言少样本学习，并在 18 个标准 NLP 任务上进行了系统评估，表明该方法将现有 SOTA 少样本学习方法的性能提高了 12％，在相同数据量下，可以达到与 GPT-3 相近的少样本性能

Apr, 2021

我们在相同任务和输入上提出了一个机器翻译模型和 LLM 的即时集成方法。我们在 4 个语言对（两个方向）上进行了实验，并且数据量有所不同。我们发现，稍微差一些的 LLM 可以提高 NMT 模型的翻译质量，并且与 LLM 集成可以产生比两个更强的机器翻译模型集成更好的翻译结果。我们结合了 LLM 提示的各种技术，如上下文学习和翻译上下文。

Nov, 2023

本文介绍了最近关于预训练语言模型（PLMs）的新进展，重点讨论了大型语言模型的预训练、适应和调整、利用和容量评估四个方面，并讨论了未来研究的问题和方向。

Mar, 2023

通过硬件为中心的方法，本研究探讨了如何将大型语言模型 (LLMs) 应用于现代边缘计算系统，并使用联邦学习 (FL) 对 FLAN-T5 模型家族进行微调，以进行文本摘要任务。通过与数据中心 GPU 的比较，我们评估了边缘计算系统的当前能力以及它们在 LLM FL 工作负载方面的潜力，并展示了在边缘端实现更大计算效率的潜力与下一步的发展方向。

Oct, 2023

该研究综述了自然语言处理中混合和集成深度学习模型的广泛探索，揭示了它们在情感分析、实体识别、机器翻译、问答、文本分类、生成、语音识别、摘要生成和语言建模等多种任务中具有的变革潜力。研究系统地介绍了每个任务，从循环神经网络 (RNNs) 到基于 Transformer 的模型如 BERT，阐述了它们的性能、挑战和计算需求。强调了集成技术的适应性，突出了它们增强各种自然语言处理应用的能力。还讨论了在实施过程中的挑战，包括计算负载、过拟合和模型解释复杂性，以及解释性和性能之间的权衡。作为精炼而宝贵的指南，该综述综合了有关任务、模型结构和挑战的见解，为研究人员和从事自然语言处理的从业者提供了一个综合的视角，以通过集成深度学习在自然语言处理中推进基于语言的应用。

Dec, 2023

我们提出了一种简单易行的方法，通过将大型语言模型（LLMs）与良性和小型语言模型（SLMs）集成，从未经筛选的数据的负面影响中净化 LLMs，以提高其性能并减轻版权侵权、数据污染和隐私侵犯等问题。经过综合实验证明，该方法能有效保持 LLMs 的性能。

Feb, 2024