May, 2023

Ditto: 一种简单高效改善句向量表示的方法

PDF
TL;DR该研究提出了一种名为 Diagonal Attention Pooling (Ditto) 的无监督方法来解决 BERT 等预训练语言模型中句子表示的各向异性问题，通过基于模型的重要性估计对单词进行加权，改进了语义文本相似度 (STS) 任务的性能。
sentence representationspre-trained language modelssemantic textual similarity tasksdiagonal attention poolinganisotropy problem
发现论文，激发创造
  • 关于预训练语言模型中句子嵌入的研究

    本篇论文提出通过使 BERT 句子嵌入分布变换成平滑和各向同性的高斯分布，从而提高 BERT 在各种语义文本相似度任务中的表现。实验证明，我们提出的 BERT-flow 方法在各种任务中显著优于现有状态下的句子嵌入方法。

    Nov, 2020

  • 学习去除：面向各向同性的预训练 BERT 嵌入

    研究表明预训练语言模型，如 BERT，在自然语言处理方面具有更广泛的应用价值。本文探究和分析预训练 BERT 嵌入的几何特征，提出一种基于可学习权重的简单而有效的方法，可以更好地处理向量的同一性问题，并在三项标准任务中获得较好的性能表现。

    Apr, 2021

  • 优化语句表示以提升语义和检索速度

    本文发现传统机器学习中的白化操作同样可以增强句子表示的等向性并取得较为显著的性能提升，同时可以减少句子表示的存储成本和加速模型检索速度。

    Mar, 2021

  • 使用预训练语言模型的深度实体匹配

    本研究提出了使用预训练的 Transformer-based 语言模型的新实体匹配系统 Ditto。本文展示了应用 BERT、DistilBERT 和 RoBERTa 等语言模型应用在实体匹配问题中所带来的匹配质量的提升，作者还提出了三种优化技术：高亮、字符串摘要和数据增强来进一步提高匹配能力。该系统在一个包含 789k 和 412k 条记录的真实世界的大规模实体匹配任务中表现出了高效性，达到了 96.5% 的 F1 分数。

    Apr, 2020

  • DebCSE：从去偏见的角度重新思考无监督对比句嵌入学习

    本文研究了对比学习中存在的偏见问题，提出了一种名为 DebCSE 的新型对比框架，通过逆倾向加权抽样方法选择高质量的正负样本对，以消除各种偏见的影响，从而提高句子嵌入的质量。在语义文本相似性基准测试中，DebCSE 的平均 Spearman 相关系数为 80.33%，显著优于最新的最先进模型。

    Sep, 2023

  • 用各向同性句子嵌入克服数据集偏差的核白化技术

    利用表示规范化和 Kernel-Whitening 可以提高 BERT 在分布外数据集上的性能，同时保持分布内准确性。

    Oct, 2022

  • 通过精简句子嵌入，可扩展的注意力句对建模

    该研究介绍一种基于知识蒸馏的 Distilled Sentence Embedding (DSE) 模型，旨在通过构建一个用于重构跨注意力模型得分的基于句子嵌入的学生模型，加速计算查询 - 候选句子对的相似度并在句子表示基准测试中达到最先进的性能。

    Aug, 2019

  • 无监督语义文本相似性的句子元嵌入

    本文介绍了如何通过将不同的预训练句子编码器组合成句子元嵌入来解决无监督的语义文本相似性（STS）任务，我们在句子级别应用、扩展和评估了来自单词嵌入文献的不同元嵌入方法，并在 STS 基准测试和 STS12-STS16 数据集上设置了新的无监督状态，平均提高了 3.7% 至 6.4% Pearson 的 r 值。

    Nov, 2019

  • WhiteningBERT：一种简单的无监督句子嵌入方法

    本研究对四种预训练模型进行了大量实验研究，并得出三个主要发现：平均所有令牌比仅使用 [CLS] 向量更好；同时使用顶部和底部层优于仅使用顶部层；基于简单白化的向量标准化策略能够成倍提高性能。

    Apr, 2021

  • 一句话价值 128 伪标记：一个针对句子嵌入的语义感知对比学习框架

    本文提出一种基于伪符号 Bert（PT-Bert）的语义感知对比学习框架，可以有效地利用句子的伪符号空间表示，消除了句子长度和语法等表征对模型的影响，实现了对未标注文本的编码。通过构建同长度的正负样本对进行对比学习，我们的模型在六个标准语义文本相似性（STS）任务中优于现有的基准模型。

    Mar, 2022