AAAIDec, 2023

Wikiformer: 以维基百科结构化信息预训练的 Ad-hoc 检索

PDF
TL;DR利用维基百科的结构化知识，我们设计了四种针对信息检索任务的预训练目标，实验结果表明，相较于现有的预训练方法，我们的模型在零样本和微调设置中都表现出优越的性能，尤其是在需要长文本相似度匹配的垂直领域。
pre-trained language modelsinformation retrievalwikipediastructured datavertical domains
发现论文，激发创造
  • C3: 采用对比弱监督的持续预训练用于跨语言 Ad-Hoc 检索

    本文介绍了一种使用多语言维基百科文章预训练预训练语言模型的方法，以提高检索效果。

    Apr, 2022

  • SKILL: 大语言模型结构化知识注入

    本研究旨在探讨结构化数据如知识图谱和文本等对大语言模型（LLMs）内部化知识的差异，提出了一种将结构化知识注入 LLMs 的方法，并通过在不同知识图谱数据上的预训练和多个自然语言任务的性能比较，证明了该方法的有效性。

    May, 2022

  • 信息检索中的预训练方法

    本综述介绍了信息检索中的预训练方法，特别是神经信息检索，涵盖了预训练方法在不同组件中的应用，可用数据集以及基准排行榜，并讨论了现有挑战和未来研究方向。

    Nov, 2021

  • 语言模型作为知识库吗？

    通过对预训练语言模型的深入分析，我们发现未经微调的 BERT 模型竞争传统 NLP 方法的关系知识，可以根据开放式关系进行查询，某些类型的事实知识比标准语言模型预训练方法更容易学习，并可以作为无监督的开放式 QA 系统的潜力展现。

    Sep, 2019

  • 预训练百科全书：弱监督知识预训练语言模型

    本文研究预训练语言模型（如 BERT）在零样本的事实推理任务中的知识捕获，提出一种有效的弱监督预训练目标，通过实体知识的显式融入，实现了对真实世界知识的建模，实验结果表明，该模型在答题、实体类型标注等任务上均优于 BERT。

    Dec, 2019

  • 信息检索的预训练：超链接是否完全被开发？

    本文提出了一种基于超链接进行预训练的方法，并将其应用于信息检索（IR）任务中，实验结果表明此方法在大规模的 IR 和问答数据集上具有优越性。

    Sep, 2022

  • 基于维基百科概念的噪音文本主动信息检索

    本文探究了如何利用 Wikipidia 概念传递查询上下文以提高对嘈杂文本的主动信息检索的性能，并提出了两种模型，利用实体链接将 Wikipedia 主题与相关性模型关联。实验结果表明，Wikipedia 概念与检索结果相关性之间存在明显信号，关联排序模型的使用可以进一步提高精度，并且使用 Wikipedia 处理查询背景语境可以消除歧义，进一步帮助主动信息检索。

    Oct, 2022

  • 结合预训练语言模型和结构化知识

    本文调查了将结构化知识集成到现有的语言模型中的各种方法，并确定了挑战和可能的机会，发现利用基于适配器的注入仍有机会，并且可能将多种探索过的方法进一步结合成一个系统。

    Jan, 2021

  • 零样本检索：用搜索引擎增强预训练模型

    使用 NLP 和多模式学习，该论文介绍了如何通过搜索引擎检索来增强预训练模型，从而在测试时从互联网中检索到有用的数据，并更新模型以解决模型的不确定性，取得了零样本性能的显著改进。

    Nov, 2023

  • 面向图文生成的逐阶微调算法

    本文提出了一种带有两个阶段微调机制的结构化图文模型，结合传统的标记和位置嵌入以及新颖的树级嵌入方法，显著提高了英语 WebNLG 2017 数据集的所有文本生成指标

    May, 2021