SIGIRApr, 2019

CEDR：上下文嵌入在文档排序中的应用

PDF
TL;DR该研究旨在探究如何利用预训练的上下文化语言模型（ELMo 和 BERT）进行即席文档排名，并提出了一种联合方法，称为 CEDR（用于文档排名的上下文化嵌入），证明它优于现有的排名基线。
发现论文，激发创造
  • CODER: 通过上下文文档嵌入重新排序的有效优化框架

    通过引入 Contextual Document Embedding Reranking (CODER)，可以显著提高基于对比学习的密集检索模型的检索性能，特别是当更多的相关信息可用时，如在 TripClick 集合中观察到的情况下，可以获得大幅度的改进并取得新的最优结果。

    Dec, 2021

  • 上下文嵌入概述调查

    该综述评估了现有的上下文嵌入模型，跨语言多语预训练，上下文嵌入在下游任务中的应用，模型压缩和分析。

    Mar, 2020

  • 命名实体识别的分层上下文表示

    本文提出了一种基于分层上下文表示的模型，通过句子级和文档级表示来提高实体识别模型中全局信息的利用，其中包括标签嵌入和注意机制以及键值内存网络，实验证明该模型在三个基准数据集上表现出优越的效果。

    Nov, 2019

  • RepBERT: 一阶段检索的上下文化文本嵌入

    使用 RepBERT 来进行文档和查询的表示，通过上下文嵌入的固定长度实现，使用嵌入的内积作为相关性分数，在 MS MARCO Passage Ranking 任务中，RepBERT 在所有初始检索技术中实现了最新的结果。

    Jun, 2020

  • 使用深度上下文语言模型进行表格搜索

    本文使用预训练的 BERT 模型来处理表格检索任务，研究如何编码表格内容以及如何将其他文献中的特征与 BERT 模型联合训练，实验表明这一方法在公共数据集上表现卓越。

    May, 2020

  • 利用上下文嵌入增强临床概念抽取

    本研究旨在研究新的语言表示方法（如 ELMo，BERT）在医疗概念提取方面的应用，比较这些方法与传统词嵌入方法（word2vec，GloVe，fastText）的性能表现，并探讨将这些表示方法应用于医疗任务的可能性。研究结果表明，基于大型医学语料库的上下文嵌入方法表现出色，优于现有所有方法。此外，与传统词表示相比，上下文嵌入方法还包含有价值的语义信息。

    Feb, 2019

  • 用于连续句子分类的预训练语言模型

    本文提出一种基于预训练语言模型 (BERT) 的方法，能够直接利用所有句子中的所有单词的上下文信息进行文档级理解的任务，且在四个数据集中取得了最先进的结果。

    Sep, 2019

  • 上下文神经语言建模在信息检索中的应用

    本文探讨了利用上下文语境中的神经语言模型 BERT，可以提供更深入的文本信息理解，以增强预先训练的 BERT 模型以及相关的搜索任务。

    May, 2019

  • 在 54 种语言中评估上下文嵌入在词性标注、词形还原和依存分析中的效果

    本文对三种最近提出的上下文嵌入方法进行了广泛评估，并在通用依赖关系 2.3 的 89 个语料库中的 54 种语言中，以词性标注，词形还原和依赖关系分析三个任务中使用 BERT，Flair 和 ELMo 作为预先训练的嵌入输入。

    Aug, 2019

  • TU Wien @ TREC Deep Learning '19 -- 用于重排的简单上下文化

    本文介绍了使用 Transformer-Kernel 模型进行文档重排序的方法，并通过 TREC 2019 深度学习赛道的评价来表明其有效性。

    Dec, 2019