Apr, 2024

SetCSE：使用对比学习的句子嵌入进行集合操作

PDF
TL;DR通过引用集合理论，我们提出了 SetCSE，一种创新的信息检索框架。SetCSE 使用集合来表示复杂语义，并结合提供的上下文进行结构化信息查询。在该框架中，我们引入了一种集合间对比学习目标，以增强对给定语义的句子嵌入模型的理解。此外，我们提供了一系列操作，包括 SetCSE 的交集、差集和操作系列，以利用增强模型的句子嵌入进行复杂句子检索任务。本文中，我们证明 SetCSE 遵循人类语言表达的约定，显著提高了底层句子嵌入模型的区分能力，并能够通过使用现有查询方法无法实现的复杂检索任务。
setcseinformation retrieval frameworksentence embedding modelsstructured information queryingcomplex semantics
发现论文，激发创造
  • SimCSE: 简单的对比学习句子嵌入

    本文介绍了一种简单的对比学习框架 SimCSE，通过无监督和监督学习两种方法，显著提高了句子嵌入的性能，适用于语义文本相似性任务。

    Apr, 2021

  • InfoCSE: 句子嵌入的信息聚合对比学习

    本文提出了一种信息聚合的对比学习框架 InfoCSE 用于学习无监督的句子嵌入，该框架引入了一个额外的掩蔽语言模型任务和一个经过精心设计的网络来强制 [CLS] 位置的表示聚合更密集的句子信息，并在语义文本相似性（STS）任务上取得了超越 SimCSE 的表现，平均 Spearman 相关性增加了 2.60％（BERT-base）和 1.77％（BERT-large），成为无监督句子表示学习方法中的最新成果。

    Oct, 2022

  • DiffCSE：基于差异的对比学习用于句向量

    本文介绍了 DiffCSE，一个无监督的对比学习框架，可以学习敏感于原始句子和编辑后句子之间差异的句子嵌入，通过朴素的掩码和掩码语言模型中的采样获得编辑后的句子，证明了 DiffSCE 是一种等变对比学习，并在语义文本相似性任务中取得了超越无监督 SimCSE 的最先进结果。

    Apr, 2022

  • 高斯嵌入表示的句子表征

    本文提出了一种基于高斯分布的对比学习框架 GaussCSE 用于句子嵌入，它可以处理句子间不对称的关系，同时还有一种相似度度量可以识别包含关系。实验证明 GaussCSE 在自然语言推断任务中与之前的方法一样表现出色，并能够估算蕴含关系的方向。

    May, 2023

  • 从零开始对句子嵌入进行对比学习

    本研究提出了 SynCSE，通过利用大型语言模型合成数据样本，训练具有良好性能的句子嵌入，对比试验结果显示 SynCSE 在无监督基准模型的基础上具有更好的性能。

    May, 2023

  • DebCSE：从去偏见的角度重新思考无监督对比句嵌入学习

    本文研究了对比学习中存在的偏见问题，提出了一种名为 DebCSE 的新型对比框架，通过逆倾向加权抽样方法选择高质量的正负样本对，以消除各种偏见的影响，从而提高句子嵌入的质量。在语义文本相似性基准测试中，DebCSE 的平均 Spearman 相关系数为 80.33%，显著优于最新的最先进模型。

    Sep, 2023

  • 无监督句子嵌入的实例平滑对比学习

    本文提出了 IS-CSE 方法用于平滑特征空间中的嵌入，实现句子嵌入的无监督学习，进而在标准的语义文本相似度（STS）任务中取得更好的结果。

    May, 2023

  • AspectCSE：利用对比学习与结构化知识的基于方面的语义文本相似性句子嵌入

    本文提出了 AspectCSE，一种基于对比学习的以方面为基础的句子嵌入方法，并在多个方面的信息检索任务上实现了 3.97％的平均改进。同时，作者还提出使用 Wikidata 知识图谱属性来训练多方面的句子嵌入模型，并证明这种方法优于单方面的嵌入，同时该研究还探讨了基于方面的句子嵌入空间。

    Jul, 2023

  • JCSE: 日语句子嵌入对比学习及其应用

    我们提出了一种针对日语的句子表示模型 JCSE 进行领域自适应学习的新方法，通过在源域中生成语句并将其与目标域中的语句合成，生成用于对比学习的矛盾句对，优于直接迁移的其他训练策略，以及在低资源语言的下游任务中有实际应用的效果。

    Jan, 2023

  • RankCSE: 无监督学习排序的句子表示

    本文提出了一种新方法 RankCSE，将排名一致性和排名蒸馏与对比学习相结合，用于无监督学习句子表示，实现了语义区分的句子表示，该方法在语义文本相似性任务和转移任务中表现出优异的性能。

    May, 2023