Oct, 2020

改进负对比度的神经文本检索

PDF
TL;DR本研究探讨了在自动问答的双编码器模型中使用负采样的影响，并探索了四种补充传统随机负采样的方式。实验表明，本研究提出的基于检索和启发式规则的负采样策略可以显著提高双编码器模型在开放领域问答数据集上的表现，并取得了新的最好性能。
dual encoder modelsnegative samplingretrieval-based strategiespassage retrieval tasksstate-of-the-art performance
发现论文，激发创造
  • 面向开放域段落检索的句子感知对比学习

    本文提出改进内部表示粒度，引入基于上下文句子的模型和 in-passage 负采样策略，以缓解不合适的建模方式对于对话的影响，在三个基准数据集上进行实验并验证方法的有效性，特别是在冲突严重的数据集中的表现。

    Oct, 2021

  • RocketQA: 开放领域问答中基于密集文本检索的优化训练方法

    本文提出了一种优化的训练方法 RocketQA 来改进密集问答检索，通过跨批次负样例、去噪硬负样例和数据增强等三种策略的实验，证明该方法在 MSMARCO 和 Natural Questions 上都显著优于之前的最先进模型，并提高了 end-to-end QA 的性能。

    Oct, 2020

  • 探究对比学习中负样本对句子嵌入影响的案例研究

    本文提出了一种 Momentum 对比学习模型（MoCoSE），用于为句子嵌入提供正负样本，验证了负样本队列的历史信息对模型性能的影响，结果表明历史信息处于某个特定范围时，模型性能最佳。在语义文本相似度（STS）任务中测试，取得平均 Spearman‘s 相关系数为 77.27% 的结果。

    Feb, 2022

  • 使用对比性置信度规范化缓解密集检索中的假阴影的影响

    通过引入一种新的对比置信度正则化器用于噪声对比估计（NCE）损失，以提高稠密检索模型对于假阴性的鲁棒性，并通过过滤数据集中的噪声负面篇章的方法改进下游稠密检索模型的检索性能。

    Dec, 2023

  • 利用负采样改进上下文化主题模型

    本文提出了一种基于负采样机制的上下文主题模型，通过扰动生成的文档 - 主题向量，并利用三元组损失函数，鼓励从正确文档 - 主题向量重构出来的文档与输入文档相似，与从扰动向量重构出来的文档相异，实验证明该方法在不同主题数量公开数据集上得到了改善。同时该模型具有较高的主题多样性。

    Mar, 2023

  • 对抗性对比估计

    本文提出了一种对比学习的方法，将负采样器增强为包含一个对抗性学习的混合分布，从而找到更难的负样本，这迫使主模型更好地学习数据的表示，通过在学习词嵌入、序列嵌入和知识图谱嵌入等方面进行评估，观察到了更快的收敛速度和更好的结果。

    May, 2018

  • 领域无关问答数据扩充及采样技术探究

    研究提出了一个不依赖于特定领域的问答模型，并探讨了大型预训练语言模型、各种数据采样策略以及通过背景翻译生成的查询和上下文释义的相对优点。我们发现简单的负采样技术特别有效，即使它通常用于包括无法回答的问题（如 SQuAD 2.0）的数据集。当与域内采样结合应用时，基于 XLNet（Yang 等人，2019）的提交在 MRQA 领袖板竞赛中取得了第二名的准确匹配和 F1 得分。

    Dec, 2019

  • 负采样对对比结构世界模型的影响

    本文通过对 Atari 数据集的研究表明，在对比损失采样负状态的方式发生微小变化时会导致模型性能的巨大变化，并利用时间步骤相关性来提高对比结构世界模型性能，同时收集了完整数据集以研究更多样化的经验。

    Jul, 2021

  • SamToNe: 提高同塔负样本语义双编码检索模型的对比损失

    该论文提出了一种改进的对比损失函数 SAMe TOwer NEgatives（SamToNe），通过在负样本中加入来自同一编码器塔的查询或文档，该方法可以有效提高对称和非对称双重编码器的检索质量，并确保两个编码塔之间的嵌入空间的对齐。通过使用 t-SNE 算法直接探测两个编码塔的嵌入空间，可以进一步从正则化的角度解释方法的功效。

    Jun, 2023

  • 用于开放式领域问答的密集式检索

    本研究展示了如何使用密集向量表示实现开放领域的问答，通过一个简单的双编码框架，通过从一小部分问题和段落中学习嵌入来实现检索，并在多个开放域 QA 基准测试中超越了传统的基于 TF-IDF 或 BM25 的方法，为终端 QA 系统的最新性能奠定了基础。

    Apr, 2020