通过 LLM-Cognition 数据增强来概括对话式密集检索

Feb, 2024

通过 LLM-Cognition 数据增强来概括对话式密集检索

Generalizing Conversational Dense Retrieval via LLM-Cognition Data Augmentation

Haonan Chen, Zhicheng Dou, Kelong Mao, Jiongnan Liu, Ziliang Zhao

TL;DR通过 LLM - 认知数据增强（ConvAug）的方式，本文提出了一个泛化会话密集检索的框架，生成多级增强会话以捕捉会话上下文的多样性，利用认知感知过程减少误报、漏报和幻觉，通过难度自适应的样本筛选改进模型的学习空间，采用对比学习目标训练更好的会话上下文编码器。通过在四个公共数据集上进行广泛实验，包括正常设置和零样本设置，证明了 ConvAug 的有效性、泛化性和适用性。

Abstract

conversational search utilizes muli-turn natural language contexts to retrieve relevant passages. Existing conversational dense retrieval models mostly view a conversation as a fixed sequence of questions and res

conversational search dense retrieval multi-level augmented conversations cognition-aware process contrastive learning

发现论文，激发创造

聊天检索器：将大型语言模型用于通用和鲁棒的对话密集检索

ChatRetriever 是一个通过对比学习调整的对话式检索模型，能够准确解读用户意图并表示复杂对话会话，通过在高质量对话指令数据上进行掩码训练进一步提升对话理解，实验证明在五个对话式检索基准上 ChatRetriever 显著优于现有模型，在复杂对话上表现出卓越的鲁棒性，展示了适应 LLM 的潜力并推进了对话式检索研究的发展方向。

Apr, 2024

历史感知的对话密集检索

通过上下文消噪的查询重构和根据历史转折的实际影响自动挖掘监督信号，提出了一种历史感知对话稠密检索系统，实验证明了 HAConvDR 在长对话中具有改进的历史建模能力。

Jan, 2024

DialAug：对比学习中混合对话上下文以实现鲁棒会话建模

本文提出了一种框架，该框架将增强版本的对话上下文纳入学习目标，并利用对比学习作为辅助目标，学习鲁棒的上下文表示，以应对推断期间出现的自然扰动。实验证明，该框架与现有的增强方法相结合，可以显著改善基于 BERT 的排名体系结构，并提供更具鲁棒性的对话表示。此外，我们提出了一种新的数据增强方法 ConMix，该方法通过从批处理中的其他上下文中随机混合 token，为对话添加 token 级扰动，优于以前的数据增强方法。

Apr, 2022

ConvSDG：面向对话式搜索的会话数据生成

基于大型语言模型的 ConvSDG 框架通过生成对话数据来提高对话式搜索的性能，并在四个广泛使用的数据集上展现了其有效性和广泛适用性。

Mar, 2024

少样本对话密集检索

本文提出了 ConvDR，一个用于多轮对话的稠密检索系统，它通过学习上下文化嵌入，仅使用嵌入点积来检索文档，并使用教师 - 学生框架赋予 ConvDR 少样本学习能力。在 TREC CAsT 和 OR-QuAC 上的实验表明，ConvDR 在少样本和完全监督的情况下表现优于之前的系统，并且比较高效。

May, 2021

CONVERSER：基于合成数据生成的小样本对话稠密检索

使用 CONVERSER 框架，在最多 6 个领域对话示例的情况下，利用大规模语言模型的上下文学习能力为基于对话的密集重排进行训练，实验结果表明所提出的框架在少样本对话密集重排中取得了可比较的性能。

Sep, 2023

基于提示的半结构化自然语言状态追踪的检索增强型对话推荐

对话式推荐系统必须理解用户偏好和意图的丰富多样的自然语言表达，而这些表达通常以间接方式传达（例如：“我在控制体重”）。这些复杂的话语使得检索相关物品变得具有挑战性，尤其是当只使用通常不完整或过时的元数据时。幸运的是，许多领域都有丰富的商品评价，这些评价涵盖标准的元数据类别并提供与用户兴趣相匹配的复杂意见（例如：“适合约会的高档场所”）。然而，直到最近，大尺度语言模型让我们能够揭示用户偏好表达和用户生成评价之间的常识联系。进一步而言，大尺度语言模型还能够实现半结构化对话状态跟踪、复杂意图和偏好理解，以及生成推荐、解释和问题回答等新颖范式。因此，我们引入了一种名为 RA-Rec 的新技术，一种以大尺度语言模型为驱动的检索增强型对话状态跟踪系统，用视频、开源 GitHub 存储库和可交互的 Google Colab 笔记本展示了这项技术。

May, 2024

对话状态跟踪中有效且高效的会话检索与隐式文本摘要

基于大型语言模型的少样本对话状态跟踪研究，通过有效且高效的对话检索器，在没有细调数据的情况下，利用对话的文本摘要进行检索并获得显著提升。

Feb, 2024

面向交谈式搜索的上下文化查询嵌入

本文以学习到的密集表示为基础，描述了一种紧凑而有效的模型，用于对话搜索中的低延迟段落检索。通过将对话查询重构直接整合到密集检索模型中，我们提出了一种新方法来解决现有流程的问题。在构建具有伪相关性标签的数据集的基础上，证明了该模型可用于会话检索和开放域问答数据集，最后通过改进的检索模型学习到的特性，支持混合检索和错误分析。

Apr, 2021

通过大型语言模型重定义结构化数据库的信息检索

本文介绍了一种名为 ChatLR 的新型检索增强框架，主要利用大型语言模型（LLMs）的强大语义理解能力作为检索器，以实现精确和简洁的信息检索。通过在金融领域微调 LLM 并构建基于 LLM 的搜索和问答系统，实验证明 ChatLR 在解决用户查询中表现出高达 98.8％的信息检索准确性。

May, 2024