ACLMar, 2022

超链接诱导的预训练：面向开放领域问答的段落检索

PDF
TL;DR提出 HyperLink-induced Pre-training (HLP) 方法来解决文档中基于超链接拓扑结构的相关性所面临的问题，为大规模预训练提供更加有效的相关性信号，从而使得在问答过程中的段落检索能够被更好地实现。在各种场景下，HLP 方法都优于其他预训练方法。
发现论文，激发创造
  • 信息检索的预训练：超链接是否完全被开发？

    本文提出了一种基于超链接进行预训练的方法，并将其应用于信息检索（IR）任务中，实验结果表明此方法在大规模的 IR 和问答数据集上具有优越性。

    Sep, 2022

  • 无监督学习检索文章段落

    本文介绍了一种基于无监督预训练的 ODQA 方法，通过 recurrent span retrieval 从文档中创建伪例子进行对比学习，控制 pseudo 查询和相关段落之间的术语重叠，从而允许模拟它们之间的词汇和语义关系，得到命名为 “Spider” 的模型，具有出色的性能，且不需要任何有标签的训练数据。

    Dec, 2021

  • 基于大型语言模型的文档扩展预训练用于密集式段落检索

    利用 LLM（大型语言模型）进行文档扩展进行预训练，显著提升了大规模网络搜索任务中的检索性能。

    Aug, 2023

  • C-MORE: 通过查询数百万参考文献进行预训练以回答开放领域问题

    本文介绍了一种使用维基百科引用构建大规模预训练语料库以满足开放域问答系统的需求的方法，并测试了改进后的 retriever 和 reader 在精确度和 top-20 准确率方面的表现。

    Mar, 2022

  • 领域匹配的密集检索预训练任务

    通过在 65 百万个合成问题和 2 亿个来自 Reddit 对话的帖子对大型 bi-encoder 模型进行适当的预训练，可以在信息检索和对话检索基准测试中实现比监督基准线显着更好的表现。

    Jul, 2021

  • 面向开放域问答的渐进式预训练稠密语料库索引

    本研究提出了一种简单且资源有效的方法，利用现有的预训练序列到序列模型来建立强大的问题生成器，并通过渐进式预训练算法确保每个批次有效的负样本存在，以预训练段落编码器。通过三个数据集的实验，本方法在使用 7 倍的计算资源进行预训练的现有浓缩检索方法方面取得了更好的效果。

    Apr, 2020

  • LinkBERT: 利用文档链接对语言模型进行预训练

    本研究提出了一种基于链接文档的 LM 预训练方法 LinkBERT，利用文档之间的超链接链接构建了文本语料库的图形，并通过预训练实现了关系预测和蒙面语言建模两个联合自监督目标，其在多跳推理和少样本 QA 方面特别有效，同时在 BioNLP 任务上表现出新的最高水平。

    Mar, 2022

  • 开放域多跳问答的简单而有效的桥接推理

    针对开放域多跳问答中通过阅读理解模型识别终止段落锚点的新子问题，介绍了一种新的子问题解决方案 ——“桥接推理器” 。该推理器接受一定程度的监督，通常用于训练一个 “终止段落阅读器”，从一组起始段落中提取答案，实验结果在多个数据集上优于 Baseline 方法。

    Sep, 2019

  • 基于三元注意力预训练的生物医学实体链接

    将基因组学实体链接到自然语言处理任务中，提出了一种使用知识图谱信息预训练生成式大型语言模型的新框架。

    Aug, 2023

  • HTLM: 语言模型超文本预训练和提示

    介绍了一种基于 HTML 训练的超文本语言模型 HTLM，使用 BART-style denoising loss 在简化 HTML 上进行预训练可对广泛端任务和监督级别提供高效的迁移，同时比纯文本模型表现更好，能够自动完成大部分的超文本格式转换，且零样本摘要效果最佳。

    Jul, 2021