Oct, 2023

神经信息检索的无监督领域自适应

PDF
TL;DR比较了使用大型语言模型生成查询和基于规则的方法进行合成注释来进行神经信息检索，结果表明大型语言模型在所有情景中的性能优于基于规则的方法，而无监督领域适应相对于零样本方式应用监督信息检索系统是有效的。
neural information retrievalsynthetic annotationlarge language modelsrule-based methodsunsupervised domain adaptation
发现论文，激发创造
  • InPars: 使用大型语言模型的信息检索数据增强

    利用大型预训练语言模型作为综合数据生成器，对于信息检索任务的未监督数据的微调，可以使检索器在零样本学习和有监督学习的任务中获得更好的表现

    Feb, 2022

  • UDAPDR：基于 LLM 加速的无监督域自适应及 Reranker 蒸馏方法

    通过使用大型语言模型 (LLMs) 生成大量合成的查询，可以在不使用大量标记的数据的情况下，有效地优化实现信息检索任务，同时消除因为领域的转变而导致真实世界应用效力降低的问题。

    Mar, 2023

  • 利用大型语言模型进行零样本 ASR 领域自适应的语料合成

    提出了一种新的自适应 ASR 模型到新目标领域的策略，其中使用大型语言模型生成目标领域文本语料库，并使用最先进的可控语音合成模型生成相应的语音，通过在上下文中进行指令微调以提高大型语言模型生成新领域文本语料库的效果，实验证明该方法在未知目标领域上能达到平均相对词错误率提高 28%，且源领域性能无降低。

    Sep, 2023

  • 无监督的可解释解缩表示学习用于远程对话语音识别适应

    该论文提出了一种新颖的无监督自适应方法，通过学习利用目标领域的无标签数据和标记的领域外数据，合成标记数据，从而解决自然语言处理中对于各种语言和领域进行自然语言处理的需求。

    Jun, 2018

  • 无监督的问答模型自适应

    通过无监督的大语言模型适应，研究论文探索了在不同目标领域中提供正确答案的问题回答，并研究了输入标记替换等方法来部分缓解中间和末尾信息获取的困难。

    Feb, 2024

  • RE-AdaptIR: 逆向工程的改进信息检索适应性

    通过使用未标记的数据，我们研究了倒向工程适应信息检索 (RE-AdaptIR) 的有效性，以改进只使用未标记数据的基于大语言模型的信息检索 (LLM-based IR) 模型， 并且展示了在培训领域和未见过查询的领域中性能的改善。

    Jun, 2024

  • 基于多语数据选择的神经机器翻译领域通用无监督适应

    本文针对神经机器翻译中的无监督领域自适应问题，提出一种跨语料库数据选择方法，通过对多语言 BERT 进行对比学习，实现源语言和目标语言之间的表示对齐，从而实现零样本领域分类器的可转移性，并且通过联合学习翻译任务和领域区分任务来适应新领域。我们在五个不同的领域和三种语言对的神经机器翻译上进行了跨语料库数据选择方法的评估，并在 COVID-19 疫情实时翻译中进行了应用验证， 实验结果表明，我们提出的方法相对于基线方法的 BLEU 指标得分提高了 1.5 个百分点。

    Sep, 2021

  • 在上下文中适应：通过上下文中学习的检索增强域适应

    通过无监督的领域自适应方法以及在上下文学习环境下的查询元素子集检索策略，我们研究了适应语言模型从源领域到目标领域的问题，以学习目标领域分布并通过语言建模实现任务信号的适应，从而在情感分析和命名实体识别任务中实现了显著的性能提升。

    Nov, 2023

  • 低资源领域适应的多阶段预训练

    本文研究使用预训练语言模型的转移学习、领域特定术语扩展词汇表以及利用未标记数据结构创造辅助合成任务等方法，在 IT 领域的三个任务中，采用逐步应用的策略在预先训练的 Roberta-large LM 上显示出显着的性能提升。

    Oct, 2020

  • 基于无监督领域自适应的方言搜索查询翻译

    该研究提出了一种无监督领域适应方法，用于翻译搜索查询，使用了基于公共语料库训练的开放领域翻译模型，并使用两种语言的单语查询来调整该模型以适应查询数据，最终改进了 Hindi 到英文查询翻译的性能。

    Aug, 2022