我们提出了 LLM-ABR 系统，它是首个利用大型语言模型（LLMs）的生成能力自主设计适应不同网络特性的自适应比特率（ABR）算法的系统。在强化学习框架下运行，LLM-ABR 赋予 LLMs 设计状态和神经网络架构等关键部件。我们在多种网络设置下评估 LLM-ABR，包括宽带、卫星、4G 和 5G 网络。LLM-ABR 在表现上始终优于默认 ABR 算法。

Apr, 2024

利用强化学习和 BERT 嵌入来改进多跳知识图谱推理的方法，以提高知识图谱推理的准确性和鲁棒性。

Mar, 2024

该研究提出了一种名为 PG-RAG 的预检索框架，使用大量阅读材料和结构化的语境记录来构建伪图数据库，该框架在单文档和多文档的问题回答任务中表现出明显的改进，具有高性能的检索和生成能力。

May, 2024

利用混合检索增强生成（HybridRAG）框架，在需要实时响应的任务（如作文帮助）中，将客户端模型与云端模型相结合，通过异步生成的检索增强记忆使客户端模型具备生成高效响应的能力，并实现实时响应无需等待云端内存同步，从而克服了检索增强大型语言模型处理时间长的局限性。实验证明，HybridRAG 在延迟方面优于基于云的检索增强大型语言模型，并在效用方面优于仅具备客户端的模型。

Aug, 2023

利用 Auto-modeling of Formal Verification with Real-world Prompting for 5G and NextG protocols (AVRE) 系统，通过 Large Language Models（LLMs）将协议描述转换为依赖关系图和形式模型，实现了自动建模和验证，来验证通信协议的复杂性和可扩展性。与传统模型相比较，该系统在准确性和稳健性方面表现出优势，并首次基于自然语言处理的方法在设计文档中直接创建漏洞，取得了可扩展系统验证和验证方面的重大进展。

Dec, 2023

通过引入 PipeRAG 算法，结合管道并行处理、灵活的检索间隔和性能模型自动平衡检索质量和延迟，可以在减少生成延迟的同时提高生成质量，为未来的 RAG 系统的采用铺平了道路。

Mar, 2024

本文提出了一种名为策略引导路径推理（PGPR）的方法，将推荐和可解释性结合起来，并在知识图中提供实际路径，通过明确的推理过程生成和支持推荐，同时实现了强化学习和策略引导图搜索算法。在多个实际数据集的评估中，与现有的最先进方法相比，获得了良好的结果。

Jun, 2019

以 BERT 为基础的生成模型，利用外部知识辅助检索，通过系统性评估不同组件在 RAG 流程中的影响，提出 BERGEN，一个用于标准化可复现研究的端到端库，对问答问题进行广泛的研究，并评估不同的检索器、排序器和生成模型，同时分析现有的 RAG 度量和数据集。

Jul, 2024

本文提出了一个名为 CVIB 的新型对比变分信息瓶颈框架，用于减少深度模型在输入特征和输出标签之间的虚假关联问题，并通过在原始网络和自剪枝网络之间使用对比学习来同时优化这两个网络。实验表明，该方法在整体预测性能、鲁棒性和泛化性等方面均优于强竞争对手。

Mar, 2023

大型语言模型（LLMs）在实际应用中仍面临幻觉、知识更新缓慢和答案透明度不足等挑战。检索增强生成（RAG）是指在 LLMs 回答问题之前从外部知识库中检索相关信息。该论文概述了 LLMs 时代 RAG 的发展范式，总结了三种范式：Naive RAG，Advanced RAG 和 Modular RAG。同时，它提供了 RAG 的三个主要组成部分：检索器、生成器和增强方法的摘要和组织，以及每个组件的关键技术。此外，论文讨论了如何评估 RAG 模型的有效性，并介绍了两种 RAG 的评估方法、重点指标和能力，以及最新的自动评估框架。最后，从垂直优化、水平可扩展性和 RAG 的技术堆栈和生态系统三个方面引入了潜在的未来研究方向。

Dec, 2023