Jul, 2020

密集文本检索的近似最近邻负对比学习

PDF
TL;DR本文提出了一种新型的训练机制 --- ANCE (Approximate nearest neighbor Negative Contrastive Estimation), 它使用了一个近似最近邻索引来构建负面示例，以更好地解决稠密检索中负面实例训练不足的问题，并且通过实验证明了其在 BERT 模型上的有效性能达到了最佳效果。
发现论文，激发创造
  • 使用对比性置信度规范化缓解密集检索中的假阴影的影响

    通过引入一种新的对比置信度正则化器用于噪声对比估计（NCE）损失，以提高稠密检索模型对于假阴性的鲁棒性，并通过过滤数据集中的噪声负面篇章的方法改进下游稠密检索模型的检索性能。

    Dec, 2023

  • 对抗性对比估计

    本文提出了一种对比学习的方法，将负采样器增强为包含一个对抗性学习的混合分布，从而找到更难的负样本，这迫使主模型更好地学习数据的表示，通过在学习词嵌入、序列嵌入和知识图谱嵌入等方面进行评估，观察到了更快的收敛速度和更好的结果。

    May, 2018

  • 条件负采样用于视觉表征对比学习

    本文中介绍了一种新的图像对比学习方法，该方法采用有条件的负采样策略来优化互信息估计，与传统的噪声对比估计相比，该方法在多个标准数据集上都获得了 2-5% 的准确度提升，并且在物体检测、实例分割、关键点检测等下游任务中也获得了更好的性能表现。

    Oct, 2020

  • 利用引用嵌入的邻域对比学习科学文献表征

    本文提出了一种通过对比学习来改善科学文档表示的方法 —— 使用引文图嵌入进行所控制的最近邻抽样来学习连续的相似度，内容主要涉及对比学习、科学文档表示、引文图嵌入、相似度语义以及相关研究。

    Feb, 2022

  • 基于近似最近邻短语挖掘的语境语音识别

    本文介绍了一种使用从上下文编码器的潜在空间中挖掘负短语的简单且高效的方法来训练端到端上下文感知 Transformer Transducer (CATT) 模型的扩展方法。通过包含 ANN-P (近似最近邻短语) 在上下文列表中，我们鼓励学习到的表示来区分类似但不完全相同的偏见短语，从而改善了偏见精度。在大规模数据情况下进行实验，获得了测试数据上上下文部分高达 7％的相对词误差率降低。我们还扩展和评估了 CATT 方法在流应用程序中的效果。

    Apr, 2023

  • 具有相关感知对比预训练的无监督密集检索

    本文提出了一种基于对中间训练模型的关联系统估计和自适应加权的相关性感知对比度学习方法，应用于无监督稠密 Retriever 模型，提高了其检索效果并且表现出很好的 few-shot 学习能力。

    Jun, 2023

  • 无监督对比学习密集信息检索

    本文介绍一种无监督训练的密集感知器，使用对比学习 (contrastive learning) 的方法，提高了信息检索的性能，并在多语言检索中表现出强大的跨语言转移能力。

    Dec, 2021

  • 使用 Hard Negatives 优化稠密检索模型训练

    本研究研究了 Dense Retrieval (DR) 模型训练中的不同采样策略，并解释了为何硬负采样优于随机采样。研究发现目前许多基于硬负采样的训练方法存在许多潜在风险，因此本文提出了 Stable Training Algorithm (STAR) 和 Query-side Training Algorithm for Directly Optimizing Ranking Performance (ADORE) 两种训练策略，并在两个公共检索基准数据集上进行了实验，结果表明这两种策略均取得了显著的改进，并且结合这两种策略可以达到最佳性能。

    Apr, 2021

  • 使用传送负样本减少密集检索训练中的灾难性遗忘

    本文探究了密集检索训练中的不稳定性问题，提出了一种叫做 ANCE-Tele 的方法来解决 “灾难性遗忘” 现象，并比之前的同类系统性能更好。

    Oct, 2022

  • 知晓假阴性：一种远程监督关系抽取的对抗训练方法

    本文提出一种两阶段的远程监督关系抽取方法，利用深度神经网络的记忆机制和对抗训练解决当前知识库不完整所带来的假阴性问题，并在两个流行基准数据集上验证了方法的有效性。

    Sep, 2021