本文介绍了一种使用自注意力神经网络对维基百科等自然语言语料库中提取的文档进行语义排名的方法，并提出了一种模型，该模型使用了这种语义排名，能够在两个最流行的答题排行榜中名列第一，这两个排行榜分别是 ARC Easy 和 Challenge，我们还发布了排名的文档，以便它们可以被直接使用用于改进下游决策模型。

Sep, 2019

研究使用自然语言处理模型进行内容推荐的领域，提出了一种基于语义相似度的数据集构建协议，并定义了适当的度量方法，以评估模型在排名前几位时的效果。

Oct, 2020

本文提出了一个新的自监督表征学习框架，将其作为图像检索环境中排名问题来进行，通过从图像中获取大量随机视图（增强）来解决此问题，该框架称为 S2R2。在 STL10 和 MS-COCO 上进行训练，S2R2 优于 SimCLR 和基于聚类的对比学习模型 SwAV，而且更加简单。在 MS-COCO 上，S2R2 的性能优于 SwAV 和 SimCLR，这表明 S2R2 在多样场景下更为有效，可以消除自监督表征学习对于以对象为中心的大型训练数据集的需求。

Oct, 2020

本文研究了如何有效地将句法知识融入语义角色标注（SRL）任务中，使用不同质量和表示的依赖树的不同编码方法，提出了一种句法增强的自注意模型，并与其他两种强基准方法进行了比较，并使用新发布的深度上下文化词表示进行了实验。实验结果表明，通过正确地融合高质量的句法信息，我们的模型在 CoNLL-2009 数据集的中文 SRL 任务中取得了新的最佳表现。

Oct, 2019

本文提出了一种基于自我注意力机制的新型神经网络架构以实现语义角色标注，能够解决循环神经网络在处理结构信息和长距离依赖时面临的主要挑战，其在 CoNLL 2005 和 CoNLL 2012 语义角色标注竞赛中的 F1 得分分别超过了之前的最佳成绩。此外，我们的模型计算效率高，单个 Titan X GPU 可以处理 50000 个标记每秒。

Dec, 2017

本论文提出了一个名为 SetRank 的新型神经学习排序模型，使用自我注意力机制和感知不变性来捕捉跨文档相互作用以及局部上下文信息，从而实现对任意大小文档集的置换不变性排名。与传统的学习排名模型和最先进的神经 IR 模型相比，经实验证明，SetRank 在三个大型基准测试中表现显着优于基线。

Dec, 2019

本论文提出了一个基于注意力机制的排序框架，旨在训练模型进行句子排序和辨别任务。该框架采用双向句子编码器和自注意力变换网络以获取与输入顺序无关的段落表示。同时，它能够使用各种基于排序的损失函数进行无缝训练，并在两个任务中应用。实验结果表明，该框架在多个评估指标上优于众多最先进的方法。同时，相对于点对排序损失函数，该框架在使用点对和列表排序损失函数时取得更好的结果，这表明将两个或多个句子的相对位置纳入损失函数有利于更好的学习。

Dec, 2019

本文提出了一种两阶段的重新排序方法，通过使用对话上下文模型重新排序第一阶段问题的候选项来帮助弥合训练 - 推断差距，从而解决了由于现有系统使用间接数据或专家知识开发而导致的模型训练 - 推理鸿沟问题，并发现相对于专家系统，我们所提出的全局重新排序器结合转换器骨干的最佳性能，导致 30％更高的标准化折扣累积增益（nDCG）和 77％更高的平均精度（mAP）。

Apr, 2023

通过对预训练序列到序列模型进行新的调整，使其能够用于文档排名任务，相比较于 BERT 等仅采用编码器预训练变压器架构的基于分类的排名方法，我们的方法在实验中展现出了更好的性能，并发现我们的方法在数据较少的情况下更能胜任。

Mar, 2020

提出了一种基于自注意力机制的上下文感知神经网络模型，用于学习商品的排序分数，在训练和推理阶段都考虑了列表中其他商品的交互作用，相较于多层感知机模型，取得了显著的性能提升，在排序学习基准 MSLR-WEB30K 上实现了新的最佳结果。

May, 2020