我们提出了一个训练免费的集成框架 DEEPEN，通过平均不同大型语言模型输出的概率分布来解决现有方法中的词汇差异问题，并在涉及主观考试、推理和知识问答的六个流行基准测试中获得了一致的改进效果。

Apr, 2024

对五种生成式大型语言模型进行了实证研究，探讨了跨语言词汇适应方法对提高模型推理效率的有效性，发现跨语言词汇适应可大幅提升模型推理速度高达 271.5%，同时适应更平衡的多语种数据可以使下游性能接近原始模型。

Feb, 2024

这篇论文研究了大规模视觉 - 语言模型（LVLMs）时代的集成方法。在近期的百科问答研究中，作者们从不同类型的模型中选择了多种模型来解决任务：从基本的 LVLMs，到包含图注作为额外上下文的模型，再到借助镜头检索维基百科页面的模型。这些模型在直观上具有高度互补性，理论上非常适合用于集成。事实上，一个理想的实验结果表明了准确率从 48.8%（最好的单一模型）到 67%（最佳集成模型）的潜在性提升，因此对于创造出具有实质性增益的集成模型来说并非是一项无关紧要的练习。

Oct, 2023

通过在不同角度研究目标词汇规模、初始化方法以及可用于适应的目标数据量，我们在语料资源有限的环境中发现，基于简单启发式的词向量初始化方法更高效、更稳定，能够在目标词汇规模和适应数据变化时胜过常用的随机初始化和更复杂依赖外部数据和模型的最先进方法。

Jun, 2024

该论文介绍了 VLAP（pretrained vision models 和 large language models 之间的视觉理解的桥梁），通过一种新颖的方法，将预训练的视觉模型的嵌入空间转化为大规模语言模型的词嵌入空间，从而有效且通用地实现视觉和语言的理解。

Apr, 2024

本文综合实证研究了如何增强大型语言模型（LLMs）的语音合成能力，比较了三种 LLMs 和语音合成模型（VALL-E）的集成方法，结果显示利用 LLMs 作为文本编码器的耦合方法取得了最佳性能，比原始语音合成模型在讲话者相似度和词错误率（WER）方面表现更好。

Dec, 2023

使用集成专家技术，从不同的视觉编码器中协同能力，通过融合网络统一处理来自不同视觉专家的输出，并解决图像编码器和预训练 LLMs 之间的差距，同时探索不同的位置编码方案以解决位置溢出和长度限制问题，实验证明，具有多个专家的 VLMs 在性能上表现出优势，并随着集成更多专家而显著提升表现。

Jan, 2024

我们介绍了一个创新的、端到端的模态对齐框架，配备了一个预训练的 Dual-Residual Vector Quantized-Variational AutoEncoder (Dr.E)。该框架专门设计用于促进与 LLMs 的令牌级对齐，实现了将图的内在 ' 语言 ' 转化为可理解的自然语言。我们在标准的 GNN 节点分类任务上进行了实验证明，与其他最先进的方法相比，我们的框架具有竞争力的性能。此外，我们的框架确保了可解释性、效率和鲁棒性，并在微调和少样本设置下进一步验证了其有效性。这项研究标志着首次成功实现了 GNNs 和 LLMs 之间的令牌级对齐。

Jun, 2024

通过对多个大型语言模型 (LLMs) 进行假设集成的研究，对于基于 LLM 的机器翻译问题，我们探讨了如何提高生成文本的质量。我们尝试了多种假设集成技术，如 ChatGPT、LLaMA 和 Alpaca，并进行了综合研究，包括生成假设的方法（多个提示、温度采样和束搜索）以及生成最终翻译的策略（基于指令、基于质量的重新排序和最小贝叶斯风险解码）。我们的研究结果表明，MBR 解码是一种非常有效的方法，使用少量样本可以提高翻译质量，指令调整对假设的多样性和采样温度之间的关系具有很大影响。

Oct, 2023

Large language models have the ability to quickly adapt to target tasks without gradient updates by using an Explanation-Aware Soft Ensemble framework, which improves the consistency between explanations and final predictions.

Nov, 2023