dense passage retrieval | BriefGPT

关键词dense passage retrieval

搜索结果 - 16

控制令牌与密集段落检索
本研究解决了大型语言模型 (LLMs) 中的幻觉问题。我们采用了检索增强生成 (Retrieval-Augmented Generation, RAG) 技术，通过在提示信息中嵌入相关信息来获得准确答案。然而，RAG 在检索正确信息方面也面
PDF2 months ago
检索增强生成：稠密段落检索是否正在检索？
密集路径检索（DPR）是提升大型语言模型（LLM）性能的检索增强生成（RAG）范式中的第一步，本研究通过探测、层激活分析和模型编辑的组合，深入研究 DPR fine-tuning，发现 DPR 训练方式中的去中心化存储及其对检索模型的限制，
PDF5 months ago
EMNLPDPR 主题：用于密集段落检索的基于主题的提示
Topic-DPR 是一种基于主题的密集段落检索模型，通过对多个基于主题的提示进行优化和对比学习，使表示与其主题分布对齐，提高空间均匀性，并引入了一种新的正负采样策略来提高检索效率。实验证明，该方法超过了之前最先进的检索技术。
PDF9 months ago
细粒度迟期交互多模态检索用于检索增强视觉问答
Fine-grained Late-interaction Multi-modal Retrieval (FLMR) significantly improves knowledge retrieval in Retrieval-Augme
PDF9 months ago
CSPRD：中国股市金融政策检索数据集
近年来，预训练语言模型（PLMs）取得了巨大进展，在密集文段检索方法上取得了令人满意的性能，旨在通过给定的问题从大规模语料库中检索相关文段。然而，现有数据集大多采用常识事实查询对模型进行基准测试，而金融和经济等专业领域由于缺乏大规模高质量的
PDF10 months ago
ACL通过嵌入对齐的查询编码器蒸馏是提升密集检索器在线效率的强大基准方法
本文中，我们提出了一个简单的基线方法，使用不对称架构来提高 Dual Encoder 检索器的效率。我们发现即使使用只有两层的 BERT-based 查询编码器，通过无监督的蒸馏和适当的学生初始化，仍然可以在 BEIR 基准测试中保持 92
PDFa year ago
具有挑战性的解码器有助于稠密通道检索的掩码自编码器预训练
该研究提出了一种基于点互信息的令牌重要性感知遮蔽策略，以加强解码器的挑战，进而构建编码器的表示能力，并在大规模监督通道检索数据集和领域外零 - shot 检索基准上验证了其有效性和鲁棒性。
PDFa year ago
KEPR: 生成通用常识问题回答的知识增强和可信度排名
提出了一种基于知识增强和真实性排名的生成式常识问答方法，其中涵盖关键词的常识知识被用于对问题进行扩展并进行归一化，密集通道检索用于捕获相关知识，而不同的 PLM（BART，GPT2 和 T5）网络用于生成答案。而基于 ELECTRA 的答案
PDFa year ago
冻结的预训练语言模型可用于实体中心问题的零 - shot 神经检索吗？
本文提出了一种基于预训练语言模型的检索方法，通过利用领域中已有的实体信息来实现领域内检索。实验结果表明，在如 Wikipedia 等领域中，本文提出的检索方法在实体相关问题上的效果要优于传统的 DPR 方法，并且可以在不进行微调的情况下有效
PDFa year ago
EMNLP带有外部知识的检索增强型视觉问答
我们提出了一种联合训练方案，该方案包括可微分的 DPR 集成答案生成，以便系统可以以端到端的方式进行训练。我们的实验表明，我们的方案优于最近的具有强大 DPR 进行检索的 OK-VQA 系统。我们还引入了新的诊断指标来分析检索和生成之间
PDF2 years ago
AAAI基于上下文遮盖的自编码器用于密集型段落检索
本研究提出 CoT-MAE 方法，通过自监督和上下文监督的遮蔽自编码学习将句子语义压缩成密集向量，进而在大规模的检索基准数据集上实现了相比强基线更高效的检索表现。
PDF2 years ago
SimLM: 密集文本检索的表示瓶颈预训练
本文提出一种简单而有效的预训练方法 SimLM，用于针对稠密段落检索，其使用简单的瓶颈架构通过自监督预训练学习将段落信息压缩成一种密集向量，并使用替换的语言建模目标，该目标灵感来自 ELECTRA，以提高样本效率并减少预训练和微调之间输入分
PDF2 years ago
EMNLPRocketQAv2：一种用于稠密段落检索和段落重新排序的联合训练方法
提出一种新颖的联合训练方法，将密集型段落检索和段落重新排名进行联合优化，其中动态列表蒸馏、混合数据增强策略和列表训练方法等对于检索和重新排名均具有显著的贡献，实验结果表明该方法在 MSMARCO 和自然问题数据集上具有有效性。
PDF3 years ago
EMNLPMFAQ：多语言 FAQ 数据集
本文提出了第一个公开的多语言 FAQ 数据集，并采用 Dense Passage Retrieval 的类似设置和测试各种双编码器。实验结果表明，基于 XLM-RoBERTa 的多语言模型是最好的选择，尤其是对于低资源语言。此外，我们的定性
PDF3 years ago
ACLPAIR：基于片段相似性关系提升密集型文本检索
该研究提出了一种利用查询中心和段落中心相似性关系（称为 PAIR）进行密集段落检索的新方法，同时引入了高质量的伪标记数据，通过两阶段训练过程，显著提高了检索性能。
PDF3 years ago
ACLRocketQA: 开放领域问答中基于密集文本检索的优化训练方法
本文提出了一种优化的训练方法 RocketQA 来改进密集问答检索，通过跨批次负样例、去噪硬负样例和数据增强等三种策略的实验，证明该方法在 MSMARCO 和 Natural Questions 上都显著优于之前的最先进模型，并提高了 en
PDF4 years ago