本文提出了 coCondenser 方法，将 Condenser 预训练架构与无监督语料级对比损失相结合，减轻了密集检索器对大规模训练数据和数据工程的依赖，并通过实验表明，该方法具有与 RocketQA 相当的性能。

Aug, 2021

本文提出了一种名为 MASTER 的多任务预训练模型，以在压缩语义信息的同时，统一和整合多种具有不同学习目标的预训练任务，实现了语义信息与关系在稠密向量中的集成，该方法在多个大规模的文本检索数据集上都表现出优异的性能。

Dec, 2022

该论文提出了一种基于 Condenser 的 Transformer 架构，可以提高标准 LM 在文本检索和相似性任务上的效果。

Apr, 2021

本研究展示了 BERT 如何在文本摘要中有用地应用，并提出了一种通用的框架，包括抽取式模型和生成式模型。在此框架下，我们引入了一种新的基于 BERT 的文档级编码器，该编码器能够表达文档的语义并获取其句子的表示，通过堆叠多个 Transformer 层来构建我们的抽取式模型，对于生成式摘要，我们提出一种新的微调策略，以解决编码器和解码器之间的不匹配问题，并演示了两阶段微调方法可以进一步提高生成摘要的质量。在三个数据集上的实验表明，我们的模型不仅在抽取式设置下，在生成式设置下也达到了最先进的水平。

Aug, 2019

研究使用共享文本编码器实现多任务推理以及使用二进制量化减少数据存储大小的方法，证明预训练的编码器在多个任务上表现的泛化性好。

Apr, 2020

本文提出一种基于自学习方法的预训练自编码语言模型，该模型通过训练编码器输出高质量的文本序列嵌入来解决解码器可能利用语言模式的问题，实验结果表明该模型能够显著提高稠密检索模型的效果和少样本学习能力。

Feb, 2021

本文提出了一个用于衡量基于 Transformers 的检索模型的统一框架，该框架基于最佳实践和先前研究中的规范，并使用 MSMARCO 数据集的 dev 集合和 trec_eval 脚本来计算模型的主要指标 MRR@100，通过该框架可以更公平比较不同检索模型。

Aug, 2022

本研究提出了一种简单且资源有效的方法，利用现有的预训练序列到序列模型来建立强大的问题生成器，并通过渐进式预训练算法确保每个批次有效的负样本存在，以预训练段落编码器。通过三个数据集的实验，本方法在使用 7 倍的计算资源进行预训练的现有浓缩检索方法方面取得了更好的效果。

Apr, 2020

本文探讨使用预训练的 Transformer 语言模型来进行文本摘要的实现，提出了基于源嵌入和领域自适应训练的方法，并在三个摘要数据集上进行了测试，并在其中两个数据集上取得了新的最佳表现。结果表明，该方法能够产生更专注的摘要，并且对于更抽象的数据集表现得更加明显。

Jun, 2019

本研究探讨使用预训练的只有解码器的 Transformer 语言模型，来增强抽象摘要中的样本效率，并在 CNN/Daily Mail 数据集上进行实验以证实其有效性。实验结果表明，相比于预训练的编码器 - 解码器网络，该模型在低数据量的情况下有着更好的 ROUGE-2 得分。

May, 2019