LARA：语言适应检索增强多轮意图分类的语言模型

Mar, 2024

LARA：语言适应检索增强多轮意图分类的语言模型

LARA: Linguistic-Adaptive Retrieval-Augmented LLMs for Multi-Turn Intent Classification

Liu Junhua, Tan Yong Keat, Fu Bin

TL;DR综合实验表明，LARA 在多轮意图分类任务上的性能处于最先进水平，相较于现有方法提高了 3.67% 的平均准确率。

Abstract

Following the significant achievements of large language models (LLMs), researchers have employed in-context learning for text classification tasks. However, these studies focused on monolingual, single-turn clas

large language models in-context learning multi-turn classification lara intent classification

发现论文，激发创造

通过大型语言模型重定义结构化数据库的信息检索

本文介绍了一种名为 ChatLR 的新型检索增强框架，主要利用大型语言模型（LLMs）的强大语义理解能力作为检索器，以实现精确和简洁的信息检索。通过在金融领域微调 LLM 并构建基于 LLM 的搜索和问答系统，实验证明 ChatLR 在解决用户查询中表现出高达 98.8％的信息检索准确性。

May, 2024

聊天检索器：将大型语言模型用于通用和鲁棒的对话密集检索

ChatRetriever 是一个通过对比学习调整的对话式检索模型，能够准确解读用户意图并表示复杂对话会话，通过在高质量对话指令数据上进行掩码训练进一步提升对话理解，实验证明在五个对话式检索基准上 ChatRetriever 显著优于现有模型，在复杂对话上表现出卓越的鲁棒性，展示了适应 LLM 的潜力并推进了对话式检索研究的发展方向。

Apr, 2024

LLaRA：提升视觉语言策略的机器人学习数据

LLaRA: 大型语言和机器人助理是一个框架，将机器人动作策略定义为对话，并在训练中通过辅助数据提供改进的响应；通过将视觉输入与文本提示进行处理，能够生成最优策略决策。

Jun, 2024

RRAML: 强化检索增强机器学习

通过提出一种名为增强检索增强机器学习（RRAML）的新型框架，将大型语言模型的推理能力与用户提供的数据库中的检索信息相结合，有效地解决了 API 文本输入的上下文限制和外部数据源可用性的局限性。

Jul, 2023

多步骤的无结构数据知识检索与推理

通过整合精细调整的大型语言模型与具有逻辑推理、规划和交互式约束求解能力的强大符号推理引擎，本研究介绍了 Cora，一个基于神经符号人工智能平台构建的协作研究助手，该助手旨在高风险领域执行复杂的研究和探索任务。本研究讨论了此类领域中的多步推理挑战，批评了现有的基于大型语言模型的方法的局限性，并展示了 Cora 的神经符号方法如何有效应对这些问题。我们提供了系统架构概述、知识提取和形式推理的关键算法，并展示了初步评估结果，突显了 Cora 与知名的大型语言模型和 RAG 方法相比的优越性能。

Jun, 2024

基于自然语言的 LLMs 上下文建模与推理：教程

利用大型语言模型，我们展示了利用文本、提示和自主代理让模型进行上下文建模和推理的计算范式，即基于大型语言模型驱动的上下文感知计算。

Sep, 2023

LLMRA: 多模态大型语言模型恢复助手

我们提出了一种基于多模态大语言模型（MLLM）的图像修复框架，名为多模态大语言模型修复助理（LLMRA），通过利用 MLLM 的印象能力来获取通用图像修复的降级信息，并通过 Context Enhance 模块和 Degradation Context based Transformer Network 将这些上下文嵌入整合到修复网络中，提供了输入低质量图像和恢复后高质量图像的低级属性描述。大量实验证明了 LLMRA 在通用图像修复任务中的卓越性能。

Jan, 2024

AvaTaR：优化 LLM 代理以实现辅助工具的知识检索

AvaTaR 是一种利用外部工具和知识来提高准确性和降低幻觉的新颖且自动化的框架，通过设计比较模块来为大语言模型代理提供有洞察力和整体性的提示，优化其在给定任务 / 领域上的表现，在四个复杂的多模式检索数据集上表现出色，并在新领域中展现强大的泛化能力，Hit@1 指标平均相对改进 14%。

Jun, 2024

LoraRetriever: 面向混合任务的输入感知 LoRA 检索与组合

LoraRetriever 是一个检索后合成的框架，根据输入提示自适应地检索和组合多个 LoRA，实验结果表明 LoraRetriever 始终优于基线模型，突出了其实际效果和通用性。

Feb, 2024

构建更好的基于大型语言模型的稠密检索模型

提出了一种新颖的方法 LLaRA（LLM 适应于密集检索），它作为 LLM 的事后适应工具，用于密集检索应用。LLaRA 包括两个预处理任务：EBAE (基于嵌入的自编码) 和 EBAR (基于嵌入的自回归)，其中来自 LLM 的文本嵌入用于重建输入句子的标记并预测下一句的标记。LLaRA 简单、轻量且高效，应用于 LLMaMA-2-7B（基础）模型，在维基百科语料库上大大提升了模型对各种密集检索基准（如 MSMARCO 和 BEIR）的微调性能。

Dec, 2023