信息检索一直是信息检索研究的重点之一。近年来，提出了 Dense Retrieval（DR）技术来缓解诸如词汇不匹配问题等固有缺陷，但是绝大多数现有 DR 模型的培训都依赖于从语料库中抽样负实例来优化成对损失函数，即不公平的样本，因此提出了 Learning To Retrieve（LTRe）培训技术， 它通过预先构建文档索引，并在每个培训迭代中在没有负样本采样的情况下执行全检索，从而在整个语料库中检索相关文档，实验表明，LTRe 在有效性方面明显优于所有有竞争力的稀疏和密集基线。它甚至在合理的延迟限制下比 BM25-BERT 级联系统表现更好。

Oct, 2020

本文针对文档级关系抽取问题，设计一种具有高区分性和鲁棒性的方法，包括有效的损失函数，熵最小化和有监督对比学习，新颖的负标签采样策略，并在新的数据情境下进行评估。实验结果表明，该方法在 DocRED 数据集，Re-DocRED 和提出的数据情境下取得了最新的最优结果。

Apr, 2023

通过引入一种新的对比置信度正则化器用于噪声对比估计（NCE）损失，以提高稠密检索模型对于假阴性的鲁棒性，并通过过滤数据集中的噪声负面篇章的方法改进下游稠密检索模型的检索性能。

Dec, 2023

本文提出了一种基于 Longfomer 的文档编码器，使用最新的无监督对比学习方法 SimCSE 进行训练，结合基于函数 Bregman 散度的凸神经网络以提高输出文档表示的质量，实验证明该方法在法律和生物医学领域的三个长文档主题分类任务中优于基线模型。

May, 2023

本文针对文本提取中长尾分布问题，提出 Easy Relation Augmentation (ERA) 方法和基于此的对比学习框架 ERACL，以改善面向真实场景的文档级关系提取性能，取得了优越的表现。

May, 2022

本研究研究了 Dense Retrieval (DR) 模型训练中的不同采样策略，并解释了为何硬负采样优于随机采样。研究发现目前许多基于硬负采样的训练方法存在许多潜在风险，因此本文提出了 Stable Training Algorithm (STAR) 和 Query-side Training Algorithm for Directly Optimizing Ranking Performance (ADORE) 两种训练策略，并在两个公共检索基准数据集上进行了实验，结果表明这两种策略均取得了显著的改进，并且结合这两种策略可以达到最佳性能。

Apr, 2021

通过结合软标签修复与多专家集成学习的有效的两阶段方法，我们介绍了一种克服先前方法限制的方法，用于处理真实世界数据集中存在的噪声标签和类别不平衡问题，实验证实了我们的方法的优越性。

Mar, 2024

本研究旨在将神经网络模型运用到信息检索模型中，引入了一种名为 TAS-Balanced 的高效查询和平衡边缘抽样技术，结合了成对和批内负面教师，实现了单 GPU 训练的 6 层 DR 模型，以及在 TREC 深度学习基准赛中，取得了领先于其他方法的最佳检索成果和召回率表现。

Apr, 2021

该论文提出了一种名为 GLMC 的训练策略，旨在解决长尾视觉识别中的特征提取器鲁棒性和分类器偏差问题，其中核心思想包括全局和局部混合一致性损失、累积头尾软标签权重损失等，该方法在多个数据集上达到了最新的准确度，并证明了其对提高邻近算法泛化的有效性。

May, 2023

通过集成大型语言模型和自然语言推理模块，我们提出一种自动标注方法来生成关系三元组，从而增强文档级关系数据集，我们通过介绍增强的数据集 DocGNRE 展示了我们方法的有效性，该方法在重新注释众多长尾关系类型方面表现出色，并且在推进广义语言语义理解方面提供了实际好处。

Nov, 2023