Sep, 2022

HEARTS: 赞助搜索的稠密检索和非自回归生成的多任务融合

PDF
TL;DR研究了 sponsored search 中解决匹配用户搜索查询和广告商提出的相关关键字的问题的两种方法，并提出了一种新的多任务融合框架 HEARTS，在 30 个以上国家的搜索查询上进行了广泛的实验，结果显示，HEARTS 比基准方法多检索了 40.3% 的高质量出价关键字
sponsored searchdense retrievalnatural language generationheartsmulti-task fusion
发现论文，激发创造
  • 一种端到端生成式检索方法用于赞助搜索引擎 -- 高效解码到封闭目标领域

    本篇论文提出了一种使用神经机器翻译方法来直接从查询中生成关键字的检索方法，并采用基于 Trie 的修剪技术来解决目标空间为限制闭合集合的检索环境下的关键字生成问题。该方法被应用于百度商业搜索引擎作为辅助检索分支，使得收益提升 10% 以上。

    Feb, 2019

  • 搜索广告中基于多样性驱动的查询重写

    本文提出了 CLOVER 框架，通过增加多样性的强化学习算法来优化人类对重写质量的评估，从而生成高质量和多样化的查询重写，离线实验和 Bing 上的在线实验都证明了该方法的有效性。

    Jun, 2021

  • Re2G: 检索、排序、生成

    Re2G 利用神经检索和排名策略结合 BART 序列生成器，在零 - shot 填槽、问答、事实核查和对话等任务中取得了相对增益为 9% 至 34% 的较大提升，是目前 KILT 排行榜上最先进的模型。

    Jul, 2022

  • 文本和知识图谱的联合表示用于检索和评估

    本文提出一种利用对比训练和数据增强技术在 KB 图和文本对之间训练嵌入模型，以获得对齐的跨模态表示，进而 fine-tune 可以与人类判断相匹配的相似度度量，最终在无需参考文本的情况下超过或匹配现有的基准度量。

    Feb, 2023

  • 基于搜索智能体和混合环境的零次检索

    本文主要研究的是学习搜索领域中，通过基于符号的查询重构策略组合基于词项的传统检索来学习人工智能搜索引擎检索的能力，同时也拓展到了混合检索环境来进行离散查询操作，本文的实验证明了在这种混合环境下，基于 HRE 的搜索代理在 BEIR 任务中优于传统方法。

    Sep, 2022

  • 面向 LLM 的检索调节器

    提出了一种高效的基于大型语言模型的检索调谐器 (LMORT)，通过将检索和生成任务从共享的大型语言模型中分离出来，将检索容量与基础语言模型分开，并以非侵入性的方式协调语言模型的统一检索空间，实现了高效和有效的检索，同时保持了生成能力。在六个 BEIR 数据集上的广泛实验表明，我们的方法在保持语言模型生成能力的同时，可以达到与一些强大的密集检索模型相媲美的零样本检索性能。

    Mar, 2024

  • 高效均衡主题感知采样，有效教授密集检索器

    本研究旨在将神经网络模型运用到信息检索模型中，引入了一种名为 TAS-Balanced 的高效查询和平衡边缘抽样技术，结合了成对和批内负面教师，实现了单 GPU 训练的 6 层 DR 模型，以及在 TREC 深度学习基准赛中，取得了领先于其他方法的最佳检索成果和召回率表现。

    Apr, 2021

  • 通过探索检索与抽取的能力进行关键短语生成的综合方法

    本文提出了一种新的集成方法，用于关键短语的生成，利用多任务学习的方法同时学习抽取式模型和生成式模型，采用神经网络集成预测结果，实验结果表明基于抽取式、生成式和检索式方法的综合方法更优。

    Apr, 2019

  • 产品问答中高效易于解释的异构数据信息检索

    通过最小化词汇匹配问题，扩展增强的稀疏词汇表示改善了信息检索，并通过联合学习密集语义表示并将其与词汇表示结合来对候选信息进行排序的潜力进行了探讨。我们提出了一种混合信息检索机制，通过最大化词汇和语义匹配来最小化它们的缺点。我们的架构由独立编码查询和信息元素的双重混合编码器组成。每个编码器通过对应文本的可对比学习的术语扩展来联合学习密集语义表示和稀疏词汇表示。我们在包含在线产品页面上可用的典型异构信息的基准产品问答数据集上展示了我们模型的有效性。我们的评估表明，我们的混合方法在 MRR@5 分数上比独立训练的检索器提高了 10.95%（稀疏）和 2.7%（密集）。此外，我们的模型在减少响应时间（延迟）30% 和减少计算负载（FLOPs）约 38% 的同时，提供了更好的可解释性，并且表现与最先进的交叉编码器相当。

    May, 2024

  • 增强嵌入用于定制检索

    信息检索中的全面检索方法被应用于大型语言模型的前提学习中，这些检索方法早期用于经典应用，但近期多用于异构且严格的应用，需要改进小 K 值的检索。我们提出了一种改进的密集检索方法，通过学习预训练嵌入的低秩残差适应来实现任务特定、异构且严格的检索，并在实验证明我们的方法相比于基于通用嵌入的基线有所改进。

    Oct, 2023