COLINGSep, 2022

基于 Transformer 的大规模文章编码器在引文推荐任务上的评估

PDF
TL;DR本文评估了基于变换器的文章编码器（TAE）在更具挑战性的候选池中进行引文推荐任务的性能，并提出了一种新的基准数据集 Multi-Domain Citation Recommendation dataset（MDCR）。研究发现，与基于神经检索的最新技术相比，基于词汇检索的 BM25 仍具有非常有竞争力。
transformer-based article encodersscientific article recommendationbenchmark datasetscitation recommendationmulti-domain citation recommendation dataset
发现论文，激发创造
  • 用于无监督学习的快速准确的深度双向语言表示

    提出了一种基于 Transformer 的文本自编码器（T-TA），可以在不需要重复推理的情况下计算上下文语言表示。实验结果表明，在 CPU 环境下，T-TA 在 reranking 任务中比基于 BERT 的模型快六倍，在语义相似性任务中快十二倍，并在这些任务上表现出与 BERT 相当甚至更好的准确性。

    Apr, 2020

  • 为实体检索学习密集表示

    使用双编码器模型，在相同的密集向量空间中对实体和提及进行编码，并通过近似最近邻搜索检索候选实体，从而实现实体链接。通过使用维基百科中的锚文本链接训练双编码器，该方法优于离散别名表和 BM25 基线，并且与标准 TACKBP-2010 数据集中最佳结果相当，还可以快速检索候选者，并可以很好地推广到从 Wikinews 推导出的新数据集。在建模方面，我们演示了无监督的负采矿算法在这一任务中的重要作用。

    Sep, 2019

  • 基于 BERT 和图卷积网络的上下文感知引用推荐模型

    本文提出一种基于深度学习的模型和完整组织的数据集，用于文章引用建议的上下文感知。该模型具有文档编码器和上下文编码器，并使用图卷积网络层和来自转换器的双向编码器表示 (BERT)。修改了 PeerRead 数据集之后，提出新的数据集全文 PeerRead，其中包含指向引用和文章元数据的上下文句子取样。本文中所述的方法能够获得最新的预测结果，提高了 28% 以上的平均准确率 (MAP) 和 recall@k。

    Mar, 2019

  • 社会科学的 Transformer 编码器

    本文介绍了 Transformer Encoder for Social Science（TESS），这是一种紧凑预训练的深度神经网络，专门设计用于解决社会科学研究中的文本处理任务。经过两个验证测试，我们证明了在训练样本数量有限（＜1,000 个训练样本）时，TESS 的表现优于 BERT 和 RoBERTa 平均 16.7％。结果显示了 TESS 在社会科学文本处理任务上优于 BERT 和 RoBERTa 的优越性。最后，我们讨论了我们的模型的局限性并提出了未来研究的建议。

    Aug, 2022

  • T-VSE: 基于 Transformer 的视觉语义嵌入

    本文研究了基于 Transformer 模型的跨模态图文检索问题，发现在大规模电商产品数据集上，相比于 RNN 等传统语言模型以及简单的平均词向量模型，基于 Transformer 的跨模态嵌入表现更加优秀。

    May, 2020

  • 使用 Transformer 评估密集通道检索

    本文提出了一个用于衡量基于 Transformers 的检索模型的统一框架，该框架基于最佳实践和先前研究中的规范，并使用 MSMARCO 数据集的 dev 集合和 trec_eval 脚本来计算模型的主要指标 MRR@100，通过该框架可以更公平比较不同检索模型。

    Aug, 2022

  • TSDAE: 使用基於 Transformer 的逐步去噪自編碼器進行無監督句子嵌入式學習

    本研究基于预训练的 Transformer 和序列去噪自编码器（TSDAE）提出了一种新的最先进的无监督方法，该方法表现优于先前的方法高达 6.4 个点。它可以达到领域内监督方法的性能的 93.1％。 此外，我们证明了 TSDAE 是一种强大的领域自适应和预训练方法，明显优于其他方法，如遮蔽语言模型。我们在来自异构领域的四个不同数据集上评估 TSDAE 和其他最近的方法。

    Apr, 2021

  • 预训练变形金刚在文本排名中的差异性如何？

    本研究分析了基于 BERT 的交叉编码器与传统 BM25 排名在段落检索任务中的效果，发现它们在相关性概念上存在重要的差异，旨在鼓励未来改进研究。

    Apr, 2022

  • 基于分层注意力文本编码器和 SciBERT 的本地引文推荐重新排序

    通过使用最近邻搜索和层次化注意网络构建文本嵌入来预测相关的引用文献，并使用 SciBERT reranker 在本地引文推荐任务中进行微调，我们的 reranker 需要更少的预取候选项即可达到最先进的性能。

    Dec, 2021

  • 基于 Transformer 的大语料库语义相似度分析的认知研究

    本文利用传统技术和转换器技术对美国专利短语进行语义相似性分析和建模，并对 Decoding Enhanced BERT（DeBERTa）的四种不同变体进行实验，在此基础上通过 K 次交叉验证提高性能，实验结果表明我们的方法比传统技术更具有优越性，平均 Pearson 相关系数为 0.79。

    Jul, 2022