Large language models have the ability to quickly adapt to target tasks without gradient updates by using an Explanation-Aware Soft Ensemble framework, which improves the consistency between explanations and final predictions.

Nov, 2023

通过词汇对齐方法，将不同的语言模型通过集成的方式进行整合，并在生成过程中动态修正和增强输出，以提高集成模型的效果和性能。

Apr, 2024

通过对多个大型语言模型 (LLMs) 进行假设集成的研究，对于基于 LLM 的机器翻译问题，我们探讨了如何提高生成文本的质量。我们尝试了多种假设集成技术，如 ChatGPT、LLaMA 和 Alpaca，并进行了综合研究，包括生成假设的方法（多个提示、温度采样和束搜索）以及生成最终翻译的策略（基于指令、基于质量的重新排序和最小贝叶斯风险解码）。我们的研究结果表明，MBR 解码是一种非常有效的方法，使用少量样本可以提高翻译质量，指令调整对假设的多样性和采样温度之间的关系具有很大影响。

Oct, 2023

通过形式分析和实证评估，本文展示了异构深度集成模型可以通过高集成多样性有效地利用模型学习的异质性以提高集成的鲁棒性。

Oct, 2023

基于大型 FLMs 的小型 FLMs 的潜力是基于同一基础的，通过集成技术可以影响 FLMs 的关注点，揭示不同 FLMs 的协作与合作的能力，我们发现深度集成的 BERT 通过使用心理健康等敏感领域的数据，相对于其大型版本 BERTlarge，具有倍数倍的性能优势。

Aug, 2023

我们在相同任务和输入上提出了一个机器翻译模型和 LLM 的即时集成方法。我们在 4 个语言对（两个方向）上进行了实验，并且数据量有所不同。我们发现，稍微差一些的 LLM 可以提高 NMT 模型的翻译质量，并且与 LLM 集成可以产生比两个更强的机器翻译模型集成更好的翻译结果。我们结合了 LLM 提示的各种技术，如上下文学习和翻译上下文。

Nov, 2023

通过知识融合的方法，将预先训练的大型语言模型相互结合，以提升目标模型的性能表现，实现在推理、常识与代码生成等多种能力上的改进。

Jan, 2024

大语言模型生成文本内容的多样性接近于人类的能力，因此为了避免潜在的风险如社交媒体上的假新闻，需要有效的假文本检测。本研究通过在内部和外部分布数据集上测试五种专门的基于 Transformer 的模型来研究它们在 LLM 生成文本检测任务中的性能和泛化能力。结果表明，单个基于 Transformer 的分类器在内部数据集上取得了不错的性能，但在外部数据集上的泛化能力有限。为了改进这一点，我们使用自适应集成算法结合了个体分类器模型，将在内部测试集上的平均准确率从 91.8% 提高到 99.2%，在外部测试集上的准确率从 62.9% 提高到 72.5%。结果表明自适应集成算法在 LLM 生成文本检测中具有有效性、良好的泛化能力和巨大的潜力。

Mar, 2024

本文介绍了使用 LLM-Blender 集成多个开源大型语言模型（LLMs）的框架，并展示了其在混合指令数据集上相对于个体 LLMs 和基线方法的显著性能优势。

Jun, 2023

利用生成式语言模型（GaC），将多个大型语言模型（LLM）集成在一起，在多项基准测试中突破了现有的性能限制；此外，仅集成关键标记也表现出更好的性能和更低的延迟。

Jun, 2024