提出了一种上下文感知的对话响应重新排序系统，使用神经词嵌入模型和手工或逻辑回归模型，将响应在与当前对话上下文的匹配分数和候选人的概率分布的基础上重新排名，提高了最近提出的端到端任务导向对话系统在具有语音识别错误的实际对话中的性能。

Nov, 2018

通过动态上下文编辑的方式，我们引入了一种新的方法，将信息检索重新设想，使长文本上下文成为可塑的外部知识，并通过与最新的知识编辑技术相结合，与有关信息进行交互式收集和整合，从而使大型语言模型能够进行复杂的推理步骤，有效增强了推理能力。

Jun, 2024

提出了一种名为 “Reinforced Retriever-Reorder-Responder”（R^4）的新流程，用于学习检索增强大型语言模型（LLM）的文档排序，从而进一步增强它们的生成能力，同时保持 LLM 的参数不变。

May, 2024

通过研究使用两种最先进的预训练大型语言模型进行检索增强和长上下文窗口的解决方案，我们发现使用简单的检索增强在生成时可以实现与微调后的具有 16K 上下文窗口通过位置插值在长上下文任务上具有可比性能的 4K 上下文窗口的大型语言模型，而计算量较小。此外，我们证明检索可以显著提高大型语言模型的性能，而不受其扩展上下文窗口大小的限制。我们的最佳模型，检索增强的 32K 上下文窗口的 LLaMA2-70B，在 7 个长上下文任务中，包括问答和基于查询的摘要，的平均得分方面优于 GPT-3.5-turbo-16k 和 Davinci003。它还在生成速度上优于其非检索的 LLaMA2-70B-32k 基线。我们的研究为从业者提供了关于选择检索增强与扩展大型语言模型的长上下文的一般见解。

Oct, 2023

通过引入图驱动的上下文检索和基于知识图谱的增强来提高大型语言模型的能力，特别是在特定领域的社区问答平台中，提供上下文丰富的数据检索与大型语言模型的配对，为 AI 系统中的知识获取和生成带来了一种新的方法。

Jan, 2024

本研究提出了一种基于序列神经网络和局部排名上下文的深度列表上下文模型，通过对排名结果的特征分布的学习来优化初始的排名列表，实验结果证明该模型在标准的信息检索领域中显著提高了学习排序方法的表现。

Apr, 2018

基于长上下文语言模型（LCLMs）的 LOFT 基准评估了 LCLMs 在上下文检索和推理方面的性能，发现它们能与最先进的检索系统和 RAG 系统媲美，但在像 SQL 一样需要组合推理的领域仍存在挑战，提示着需要继续研究随着上下文长度增长时的提示策略的影响。LOFT 为 LCLMs 提供了严格的测试平台，展示了随着模型能力的扩展，它们取代现有范式并解决新任务的潜力。

Jun, 2024

通过选择适当的上下文，提高大规模语言模型在生成人工智能研究排行榜方面的效率，并解决了介绍的方法在适应新发展方面超过传统自然语言推理方法的问题。实验证明了有效的上下文选择在提高语言模型精确性和减少错觉方面的重要性，并为可靠高效生成人工智能排行榜提供了新途径。

Jun, 2024

LeanContext 是一种从上下文中高效提取与查询密切相关的关键句子的方法，采用强化学习技术动态确定提取的句子数量，其余重要性较低的句子通过开源的文本缩减方法进行缩减。与保留完整上下文的基准方法相比，尽管成本减少了 37.29％至 67.81％，LeanContext 的 ROUGE-1 得分仅下降了 1.41％至 2.65％。此外，如果使用免费预训练的基于大型语言模型的摘要方法来缩减上下文，LeanContext 可以进一步修改缩减后的上下文，提高准确性（ROUGE-1 得分）13.22％至 24.61％。

Sep, 2023

通过引入一种新方法，结合大型语言模型（LLMs）来进行上下文化的语音识别模型，我们证明通过添加适配器的少量可训练参数，可以在保持相同的文本输入功能的同时，实现预训练 LLM 的上下文化语音识别能力并显著提高性能。

Sep, 2023