- SynthesizRR: 利用检索增强生成多样化数据集
通过检索和改进综合方法（SynthesizRR），我们通过扩展种子生成内容的方式来合成数据集，从而在语义和词汇多样性、与人类书写文本的相似性以及提纯效果方面极大地改善了标准 32-shot prompting 和其他六种基线方法。
- 通过大型语言模型重定义结构化数据库的信息检索
本文介绍了一种名为 ChatLR 的新型检索增强框架，主要利用大型语言模型（LLMs）的强大语义理解能力作为检索器，以实现精确和简洁的信息检索。通过在金融领域微调 LLM 并构建基于 LLM 的搜索和问答系统，实验证明 ChatLR 在解决 - CVPR2024 NICE 图像字幕挑战的解决方案
本文介绍了一种解决 2024 年 NICE 的 Topic 1 零射击图像字幕挑战的方法，通过检索增强和字幕评分方法有效地增强图像字幕，利用图像字幕模型生成的高质量字幕作为训练数据，利用基于手工模板的大规模视觉 - 语言预训练模型（OFA） - LLM 何时需要检索增强？缓解 LLM 的过度自信有助于检索增强
通过量化测量大型语言模型（LLMs）对知识边界的感知能力，以及研究问题确定度与 LLMs 对外部检索信息依赖性之间的相关性，我们提出了几种增强 LLMs 知识边界感知能力的方法，并证明它们在减少自信心方面是有效的。在配备了这些方法的情况下， - Persona-DB: 高效的大型语言模型个性化应答预测与协同数据精炼
通过引入 Persona-DB 框架，本文从一个新的角度考虑数据如何更好地表示，以实现对大型语言模型 (LLMs) 定制过程中更高效的检索，同时在多个实验中展示了 Persona-DB 在任务上下文中的泛化能力和在冷启动情况下的显著改进。
- 检索增强式布局变换器用于内容感知布局生成
本文介绍了一种名为 RALF 的模型，它通过检索相似的布局示例来提高内容感知图形布局的生成质量，并成功地在不受限制和受限制的环境中生成高质量的布局。
- ATLANTIC: 结构感知的检索增强语言模型用于跨学科科学
我们提出了一种结构感知的检索增强语言模型，通过在预训练模型中检索并融合具有结构关系的科学文档，来改善检索到的内容的相关性、准确性和连贯性。
- 实现具有渐进学习的鲁棒文本检索
本文提出了一种用于强化文本检索的逐步学习嵌入模型 (PEG)，通过增加负样本数量、提取难例负样本以及引入逐步学习机制，PEG 在检索真正的正例方面超过了现有的嵌入模型，在大语言模型的应用中具有重要潜力。
- 知识融合与大型语言模型的趋势：方法、基准和应用的调查和分类
通过综述知识融入大型语言模型的趋势、方法分类、基准和应用，本文概述了该研究领域的全貌，并指出了未来的研究方向。
- 通过大型语言模型整合总结和检索，实现个性化增强
通过使用离线总结和运行时检索，我们提出了一种新颖的基于总结的方法，扩展了基于检索的个性化，以实现更好的实时系统性能，并在实际约束下取得了更好的个性化性能。
- EMNLPTCRA-LLM：基于令牌压缩检索的大规模语言模型，用于推理成本降低
使用自学生成的样本进行 Fine-tune，我们提出了两种方法进行文本压缩：摘要压缩和语义压缩。摘要压缩可以减少 65% 的检索令牌大小并提高 0.3% 的准确性，语义压缩可以将令牌大小减少 20%，但只有 1.6% 的准确性损失。
- BTR: 用于高效检索的二进制标记表示增强语言模型
使用二进制标记表示，结合离线和运行时压缩，减少计算量和存储占用，在保持任务性能超过 95% 的同时，加速了最先进的推理速度达到 4 倍，并减少了 100 倍的存储空间。
- MEMORY-VQ：可操作的互联网规模内存的压缩
提出了 MEMORY-VQ 方法，通过使用向量量化变分自编码器 (VQ-VAE) 来压缩令牌表示，从而减少记忆增强模型的存储要求，应用于 LUMEN 模型中获得 LUMEN-VQ，一个具有相当性能的记忆模型，可在大型检索语料库中实现实用的检 - 基于生成语言建模的可微检索增强方法用于电子商务查询意图分类
检索增强通过知识检索器和外部语料库提高下游模型的性能，成功应用于许多自然语言处理（NLP）任务，然而，现有的方法由于两个部分之间的不可微性而分别或异步训练检索器和下游模型，通常导致性能下降，与端到端联合训练相比。
- 利用检索增强探究大语言模型的事实知识边界
大规模语言模型 (LLMs) 在解决知识密集型任务方面展示出了令人印象深刻的能力。本研究通过分析 LLMs 的事实知识边界以及检索增强对其开放领域问题回答能力的影响，揭示了 LLMs 在自信度、准确度和判断能力方面的特征。研究发现检索增强是 - 通过数据重要性学习改进检索增强的大型语言模型
通过修剪或重新权重检索语料库，可以提高大型语言模型的性能，无需进行进一步训练。在某些任务中，甚至允许较小的模型（例如 GPT-JT）通过搜索引擎 API 进行扩展，胜过未使用检索增强的 GPT-3.5。此外，我们展示了在实践中可以高效地计算 - ACL适应增强的召回器作为通用插件提升语言模型的泛化能力
以通用的文本检索插件为基础，通过增强适应性的文本检索器 (AAR)，为各种语言模型 (large target LMs ranging from 250M Flan-T5 to 175B InstructGPT) 提供外部知识，从而显着提高 - 检索增强多标签文本分类
本文提出了一种检索增强的方法来解决具有 Zipfian 分布标签支持的大标签集情 况下的多标签文本分类问题，并通过交叉关注和检索来改善分类模型的样本效率，实验证明这种方法在标签分布偏斜、低资源训练和长文档数据情境下显著提高了模型性能。
- 检索增强生成的多模态信息：一项调查
本文综述了检索多模态知识以辅助和增强生成模型的方法，并提供了对从外部来源（包括图像、代码、表格、图形和音频）检索根据的关注点的深入探讨，包括事实性、推理、可解释性和鲁棒性。
- EMNLP使用检索增强和多阶段精炼的大型语言模型的查询意图
本文介绍一种实用而有效的检索增强方法（QUILL），它能够通过检索增强大型语言模型在查询理解方面的能力，而不会增加计算量。我们提出了一种新颖的两阶段蒸馏方法来处理检索增强的模型，证明了这种方法在公共基准测试中取得了出色的性能。