Mar, 2023

UDAPDR：基于 LLM 加速的无监督域自适应及 Reranker 蒸馏方法

PDF
TL;DR通过使用大型语言模型 (LLMs) 生成大量合成的查询，可以在不使用大量标记的数据的情况下，有效地优化实现信息检索任务，同时消除因为领域的转变而导致真实世界应用效力降低的问题。
发现论文，激发创造
  • 神经信息检索的无监督领域自适应

    比较了使用大型语言模型生成查询和基于规则的方法进行合成注释来进行神经信息检索，结果表明大型语言模型在所有情景中的性能优于基于规则的方法，而无监督领域适应相对于零样本方式应用监督信息检索系统是有效的。

    Oct, 2023

  • 无监督的问答模型自适应

    通过无监督的大语言模型适应，研究论文探索了在不同目标领域中提供正确答案的问题回答，并研究了输入标记替换等方法来部分缓解中间和末尾信息获取的困难。

    Feb, 2024

  • 语音识别中零 - shot 领域调适的大型语言模型启发

    本文介绍了两种使用 LLaMA 的零样本 ASR 领域适应方法，这两种方法可以通过一个领域特定的文本提示有效地减少跨领域 TedLium-2 和 SPGISpeech 数据集上的词错误率（WER），特别是，深度 LLM-fusion 具有更好的实体召回和词汇外单词的召回优势。

    Jun, 2023

  • 大型语言模型的领域自适应重构为适应 - 检索 - 修订

    通过适应、检索和修订的过程，这篇论文介绍了一个简单而有效的领域适应框架，将大型语言模型 GPT-4 应用到特定领域的内容生成，以增加准确性和避免内容幻觉。

    Oct, 2023

  • 在上下文中适应：通过上下文中学习的检索增强域适应

    通过无监督的领域自适应方法以及在上下文学习环境下的查询元素子集检索策略，我们研究了适应语言模型从源领域到目标领域的问题，以学习目标领域分布并通过语言建模实现任务信号的适应，从而在情感分析和命名实体识别任务中实现了显著的性能提升。

    Nov, 2023

  • InPars: 使用大型语言模型的信息检索数据增强

    利用大型预训练语言模型作为综合数据生成器，对于信息检索任务的未监督数据的微调，可以使检索器在零样本学习和有监督学习的任务中获得更好的表现

    Feb, 2022

  • 检索短语级提示的神经机器翻译领域零 - shot 适应

    本文探讨了一种在神经机器翻译中解决领域适应问题的新思路，通过构建双语短语级数据库并从其中检索相关的短语，作为输入句子的提示，从而提高翻译质量。实验结果表明，该方法可以使特定领域机器翻译 BLEU 分数提高 6.2 分，并且可以提高 11.5% 的翻译准确性，而无需额外的训练。

    Sep, 2022

  • RE-AdaptIR: 逆向工程的改进信息检索适应性

    通过使用未标记的数据，我们研究了倒向工程适应信息检索 (RE-AdaptIR) 的有效性，以改进只使用未标记数据的基于大语言模型的信息检索 (LLM-based IR) 模型， 并且展示了在培训领域和未见过查询的领域中性能的改善。

    Jun, 2024

  • 大型语言模型是强零 - shot 召回器

    该论文提出了一种简单的方法，使用大规模语言模型作为信息检索的检索器，从而在零 - shot 场景下提高检索效率。该方法通过在检索词和其他相关域内候选之间进行组合，来辅助语言模型生成更精确的答案，使得检索更加透明，从而实现竞争力更强的检索结果。

    Apr, 2023

  • SynthesizRR: 利用检索增强生成多样化数据集

    通过检索和改进综合方法（SynthesizRR），我们通过扩展种子生成内容的方式来合成数据集，从而在语义和词汇多样性、与人类书写文本的相似性以及提纯效果方面极大地改善了标准 32-shot prompting 和其他六种基线方法。

    May, 2024