Jun, 2024

SparseCL：稀疏对比学习用于矛盾检索

PDF
TL;DRSparseCL 是一种使用特殊训练的句子嵌入来有效地识别和检索与给定查询矛盾的文档的新方法。通过结合余弦相似度和稀疏函数的组合度量，此方法显着提高了矛盾检测的速度，并且在大规模文本语料库中表现出较高的准确性和效率。
contradiction retrievaldocumentsquerysparseclsentence embeddings
发现论文，激发创造
  • 利用引用嵌入的邻域对比学习科学文献表征

    本文提出了一种通过对比学习来改善科学文档表示的方法 —— 使用引文图嵌入进行所控制的最近邻抽样来学习连续的相似度，内容主要涉及对比学习、科学文档表示、引文图嵌入、相似度语义以及相关研究。

    Feb, 2022

  • 句子表示的配对监督对比学习

    本文提出了一种基于实例区分的方法 PairSupCon，旨在通过高级分类概念编码在语义蕴含和矛盾理解之间建立联系。该方法在各种下游任务中均取得了极好的效果，超过了先前的最先进方法。

    Sep, 2021

  • 无监督对比学习密集信息检索

    本文介绍一种无监督训练的密集感知器，使用对比学习 (contrastive learning) 的方法，提高了信息检索的性能，并在多语言检索中表现出强大的跨语言转移能力。

    Dec, 2021

  • 面向开放域段落检索的句子感知对比学习

    本文提出改进内部表示粒度，引入基于上下文句子的模型和 in-passage 负采样策略，以缓解不合适的建模方式对于对话的影响，在三个基准数据集上进行实验并验证方法的有效性，特别是在冲突严重的数据集中的表现。

    Oct, 2021

  • 蒸馏模型中的对比学习

    使用 SimCSE 论文中的适用对比学习方法，将基于知识蒸馏模型 DistilBERT 的模型架构进行调整，以解决自然语言处理模型在语义文本相似度上效果不佳且过大无法部署为轻量级边缘应用的问题，最终得到的轻量级模型 DistilFace 在 STS 任务的 Spearmans 相关性上达到了 72.1，相比 BERT Base 提升了 34.2％。

    Jan, 2024

  • 基于大型语言模型的语义感知对照句子表示学习

    通过利用大型语言模型的生成和评估能力，我们提出了 SemCSR，一种语义感知的对比句子表示框架，可以自动构建高质量的 NLI 风格语料库，并将生成的句子对纳入对比句子表示模型的学习，实验证明了我们提出的框架在使用大型语言模型学习更好的句子表示方面的有效性。

    Oct, 2023

  • 具有相关感知对比预训练的无监督密集检索

    本文提出了一种基于对中间训练模型的关联系统估计和自适应加权的相关性感知对比度学习方法，应用于无监督稠密 Retriever 模型，提高了其检索效果并且表现出很好的 few-shot 学习能力。

    Jun, 2023

  • 深度检索与无法回答的反事实情况再探讨

    本文介绍了一个新颖的检索方法 PiCL，它利用反事实样本来训练检索器以提高检索准确率，并在开放域问答基准测试中证明了其有效性和鲁棒性。

    Apr, 2023

  • 用对比学习支持聚类

    该论文提出了 SCCL 框架，使用对比学习来帮助无监督聚类，有效提升类别间距离，进而在短文本聚类中达到更好的结果。研究表明，SCCL 能够显著提高精度和归一化互信息，同时有效结合自下而上的实例判别和自上而下的聚类来实现更好的聚类效果。

    Mar, 2021

  • WikiContradict: 对维基百科上真实知识冲突的 LLM 评估基准

    通过对大规模语言模型（LLMs）使用检索增强生成（RAG）来评估知识冲突的处理方法，特别是针对来源相同且具有相等可信度的检索到的段落，研究发现所有模型在提供包含相互矛盾的事实的两个段落时，都难以生成准确反映冲突性质的答案，尤其是对于需要推理的隐含冲突。为了促进未来的研究，通过引入一个自动化模型，该模型使用一个开源强大的语言模型估计 LLM 的性能，实现了 0.8 的 F 分数，并在所有 WikiContradict 实例上评估了来自七个 LLM 的 1500 多个答案。

    Jun, 2024