ACLFeb, 2024

通过语义图平滑获得更具辨别性的句子嵌入

PDF
TL;DR通过语义图平滑，在经验上探索一种无监督学习更判别句子表示方法的方法。利用预训练模型得到的句子嵌入来提高文本聚类和分类任务的结果。经验证，我们的方法在八个基准测试中表现出一致的改进，展示了语义图平滑在改进句子嵌入用于监督和无监督的文档分类任务中的潜力。
empirical approachsentence representationsunsupervised fashionsemantic graph smoothingsentence embeddings
发现论文，激发创造
  • 使用组成性 n-Gram 特征进行句子嵌入的无监督学习

    本文介绍了一种简单但高效的无监督学习方法，用于训练分布式表示的句子嵌入。该方法在大多数基准任务中性能优于最先进的无监督模型，突显了所产生的通用句子嵌入的健壮性。

    Mar, 2017

  • 关于预训练语言模型中句子嵌入的研究

    本篇论文提出通过使 BERT 句子嵌入分布变换成平滑和各向同性的高斯分布，从而提高 BERT 在各种语义文本相似度任务中的表现。实验证明，我们提出的 BERT-flow 方法在各种任务中显著优于现有状态下的句子嵌入方法。

    Nov, 2020

  • 用于改写和文本摘要的语义句子嵌入

    介绍了一种适用于高级自然语言处理的句子向量编码框架，该框架可以从编码器 - 解码器模型中提取具有相似向量表示的常见语义信息的句子 latents 表示。我们将句子表示的应用用于两个不同的任务 -- 句子复述和段落摘要，使其适用于常用的循环框架处理文本。实验结果有助于深入了解向量表示适用于高级语言嵌入。

    Sep, 2018

  • 学习和评估稀疏可解释的句子嵌入

    本文通过引入稀疏表示的思想将 word embeddings 应用到 sentence embeddings 中，基于主题连贯性方法引入了一种新的、定量的自动化评估指标，并在电影对话数据集和 MS COCO 数据集的场景描述上观察到了 interpretability 的提高。

    Sep, 2018

  • 无监督句子嵌入的实例平滑对比学习

    本文提出了 IS-CSE 方法用于平滑特征空间中的嵌入，实现句子嵌入的无监督学习，进而在标准的语义文本相似度（STS）任务中取得更好的结果。

    May, 2023

  • MCSE: 句子嵌入的多模态对比学习

    本文提出了一种基于多模态对比目标的句子嵌入学习方法，利用同时包含视觉和文本信息的数据提高了语义相似性任务的性能，并通过分析文本嵌入空间的性质解释了本方法提高性能的原因。

    Apr, 2022

  • 减轻非监督句子表示中的过度平滑

    本文介绍一种名为自对比学习（SSCL）的简单方法，用于学习无监督的句子表示，并基于该方法构建一个插入式对比框架，从而提高性能，并在语义文本相似度和转移数据集上超越了不同强大基线（如 BERT 和 SimCSE）。

    May, 2023

  • 评估语义变化的句子嵌入模型的比较研究

    分析语义变化的模式在长篇实际文本（如书籍或记录）中是有趣的，从文体、认知和语言的角度来看。这项研究也对应用领域，如文本分段、文档摘要和语义新颖性检测是有用的。本文通过时间序列的语义相似性以及多本文学作品的两两句子相似性矩阵比较了几种最近的句子嵌入方法。与以前使用目标任务和精心策划的数据集比较句子嵌入方法的研究不同，我们的方法提供了对方法在现实情境的评估。我们发现，大部分句子嵌入方法确实能够在给定文档中推断出高度相关的语义相似性模式，但也存在有趣的差异。

    Aug, 2023

  • 使用图嵌入重新审视半监督学习

    介绍了一种基于图嵌入的半监督学习框架，重点研究了在图中联合预测类别标签和邻域上下文信息的方法，并在包括文本分类等多个基准任务上，相比已有的模型表现出了更好的性能。

    Mar, 2016

  • 基于深度语义学习的非监督句子简化

    本研究提出了一种新颖的句子简化方法，使用基于语义的方法进行句子拆分，不需要手动编写规则或训练语料库，研究表明这个无监督框架与四个最先进的监督系统竞争力相当，并且我们提出的基于语义的方法能够有效地处理句子拆分。

    Jul, 2015