LUMEN 是一种检索 - 增强型语言模型，介于传统的基于文本语料库的预编码记忆和需要编码大量检索段落的 Fusion-in-Decoder 之间，利用一个实时编码器完成编码任务，比 FiD 更便宜且更适合于解决各种问题 - 回答任务，而且 LUMEN 的优势随着模型大小的增加而增加。

Jan, 2023

本文提出了一种以问答对为基础的编码 - 解码模型，通过该模型的预训练策略，能够在单跳及多跳问题上达到强大性能，并进一步提高了对模型的解释和控制能力，缩小了与段落检索系统之间的性能差距。

Apr, 2022

GLIMMER 使用浅层 Reranker 和多任务训练来提高知识密集型任务上的检索质量，相对于 LUMEN 和 FiD 获得了较快的速度和强大的性能提升。

Jun, 2023

借助 SDQ 的结构稀疏性和量化方法，可以实现高计算和内存效率，并且在性能上只有不到 1% 的质量损失。

Jun, 2024

长序列模型中，使用了 LongVQ 方法以更有效地利用向量量化技术来压缩全局抽象，并以线性时间计算注意力矩阵，有效地解决长距离依赖问题。

Apr, 2024

提出了一种新方法，即无损压缩记忆关注（LoMA）方法，可以根据一组压缩比将信息无损地压缩到特殊记忆令牌 KV 对中，实现资源消耗的减少，并取得了显著的结果。

Jan, 2024

我们提出了一种新颖的算法来量化训练模型中的连续潜在表达式，该算法适用于深度概率模型，可以实现数据和模型压缩，并且可以基于后验不确定性使用自适应量化精度来实现可变的码率失真折衷，实验证明了所提出的算法的有效性。

Feb, 2020

本研究通过结合 LXMERT 模型的特点和可训练子网络的观察，评估在 VQA 任务上微调的 LXMERT 模型中是否存在可独立进行训练的子网络，并通过对模型大小利益分析，探究在不显著降低准确度的情况下可以进行多少程度的模型剪枝。实验结果表明，LXMERT 模型可以在减少 40% 至 60% 的情况下，仅损失 3% 的准确度。

Oct, 2023

在这项研究中，我们展示了通过增加量化维度可以显著改善神经网络量化的大小和准确性之间的权衡。我们提出了 GPTVQ 方法，一种新的快速方法，用于对大型语言模型（LLMs）进行训练后的向量量化（VQ），并在多列的量化和未量化权重更新之间交错使用每层输出重建 MSE 的 Hessian 信息。通过使用数据感知的 EM 算法的高效版本初始化码本，然后使用整数量化和基于 SVD 的压缩来进行进一步压缩。GPTVQ 在诸如 Llama-v2 和 Mistral 之类的各种 LLMs 上建立了新的最先进的大小与准确性权衡状态。此外，我们的方法高效：在单个 H100 上处理 Llamav2-70B 模型需要 3 到 11 个小时，具体取决于量化设置。最后，通过对移动 CPU 上的 VQ 解压缩进行设备上的计时，我们显示 VQ 相比于使用 4 位整数格式可以提供改进的延迟。

Feb, 2024

通过应用数据压缩技术来减少数据传输，从而提高在内存受限设备上量化化的大型语言模型推理的速度。

Mar, 2024