EMNLPDec, 2021

CODER: 通过上下文文档嵌入重新排序的有效优化框架

PDF
TL;DR通过引入 Contextual Document Embedding Reranking (CODER)，可以显著提高基于对比学习的密集检索模型的检索性能，特别是当更多的相关信息可用时，如在 TripClick 集合中观察到的情况下，可以获得大幅度的改进并取得新的最优结果。
发现论文，激发创造
  • CODER: 融合知识的跨语言医学术语嵌入用于术语规范化

    该研究提出了 CODER：针对跨语言医学术语表现的知识图谱对比学习。CODER 通过对 Unified Medical Language System 进行对比学习进行训练，通过利用词条和关系三元组之间的相似性将医学知识注入到嵌入中，并旨在提供潜在的更好的机器学习特性，评估结果表明 CODER 在零样本术语归一化，语义相似性和关系分类基准方面优于各种最先进的生物医学词嵌入，概念嵌入和上下文嵌入。

    Nov, 2020

  • CEDR：上下文嵌入在文档排序中的应用

    该研究旨在探究如何利用预训练的上下文化语言模型（ELMo 和 BERT）进行即席文档排名，并提出了一种联合方法，称为 CEDR（用于文档排名的上下文化嵌入），证明它优于现有的排名基线。

    Apr, 2019

  • 通过上下文化的后期交互提高神经重排器的超领域泛化能力

    本文探讨了将后期交互用于神经重排器的有用性，以提高其在分布外数据集中的性能，该方法能带来额外的 5％改进，而无需增加太多的延迟和没有影响其在域内数据上的效果，通过实验和分析，发现这一结论与模型大小和不同类型的第一阶段检索器一致，并且这种改进在较长的查询上更为显著。

    Feb, 2023

  • 基于检索与元学习相结合的上下文相关语义解析

    本文提出一种方法，利用检索到的数据点作为上下文依赖的语义解析的支持证据，通过结合检索模型和元学习器实现。在 CONCODE 和 CSQA 数据集上的实验表明，这种方法在 JAVA 代码和对话历史上的环境下，都可以提高准确性，比检索和编辑的基线方法更有效。

    Jun, 2019

  • 上下文生成检索

    提出了一种上下文生成检索模型，其在生成式检索模型的解码步骤中使用上下文嵌入，结合了双编码器方法和生成式检索模型的优点，显示出比只有普通嵌入的情况更高的性能。

    Oct, 2022

  • CODER: 用于图像 - 文本检索的耦合多样性感知动量对比学习

    本文提出了一种基于对比学习的新型跨模态表征方法 Coupled Diversity-Sensitive Momentum Constrastive Learning（CODER），通过引入动态字典和适应性负对权重，使用实例级嵌入和概念级描述符提高跨模态表征，经过对 MSCOCO 和 Flicker30K 数据集的大量实验，CODER 明显优于当前基准方法。

    Aug, 2022

  • 通过丰富的上下文和区分特征嵌入检索拼接视频

    使用详细的语言描述来显式编码特定查询背景信息和学习视觉、文本和视觉文本的判别嵌入，以更准确地检索匹配的目标视频的新型 CoVR 框架。

    Mar, 2024

  • 利用外部上下文检索和协同学习提升命名实体识别

    本文提出使用搜索引擎检索并选择一些语义相关的文本来找到句子的外部上下文。我们发现，使用合作学习训练模型，可以更好地利用外部上下文提高模型的性能，在 5 个领域的 8 个数据集上取得了最新的最佳成绩。

    May, 2021

  • 上下文关注的文档排名和查询建议

    本文提出了一种上下文感知的神经排序模型，通过引入两级分层循环神经网络对查询、搜索任务进行搜索上下文表示的学习，并结合文档排序和查询建议两个伴随的检索任务来提高检索性能，并在循环状态的两个级别上引入注意力机制来识别搜索上下文和用户正在进行的搜索活动之间的可变依赖结构。通过丰富的实验比较以及深入的消融分析，证实我们所提出的方法对于建模搜索任务中隐藏的搜索上下文具有价值。

    Jun, 2019

  • 从简单到困难：面向上下文的文档排名的双重课程学习框架

    该研究提出一种基于课程学习框架的上下文感知文档排名方法，通过逐步调整模型，帮助模型逐渐接近全局最优解，并在两个实际查询日志数据集上取得显著的性能提升，证明了课程学习对于上下文感知的文档排名的有效性。

    Aug, 2022