Apr, 2021

学习去除：面向各向同性的预训练 BERT 嵌入

PDF
TL;DR研究表明预训练语言模型，如 BERT，在自然语言处理方面具有更广泛的应用价值。本文探究和分析预训练 BERT 嵌入的几何特征，提出一种基于可学习权重的简单而有效的方法，可以更好地处理向量的同一性问题，并在三项标准任务中获得较好的性能表现。
pre-trained language modelsbertword embeddingisotropic embeddingsnlp
发现论文，激发创造
  • 各向同性表示可以提高密集检索性能

    本研究使用 Normalizing Flow 和 whitening 等无监督的后处理方法，提出一种基于令牌和序列的方法来处理密集检索模型的表示，优化 BERT 表示的各向同性分布，实验结果表明，这种方法可以显著提高文档排序的性能，并在处理不同的测试数据集时具有潜在的鲁棒性。

    Sep, 2022

  • 关于预训练语言模型中句子嵌入的研究

    本篇论文提出通过使 BERT 句子嵌入分布变换成平滑和各向同性的高斯分布，从而提高 BERT 在各种语义文本相似度任务中的表现。实验证明，我们提出的 BERT-flow 方法在各种任务中显著优于现有状态下的句子嵌入方法。

    Nov, 2020

  • 使用各向同性批量归一化 Fine-Tuning BERT

    本文研究了预训练语言模型中的同向性问题，提出了一种新的网络正则化方法：同向批量归一化（IsoBN），用于解决优化学习中掌握主要因素的问题，从而获得更多同向表现，提高了七项自然语言理解任务约 1.0 的绝对增量。

    May, 2020

  • 多语言 BERT 嵌入空间中的各向同性分析

    研究探讨如何解决多语种 BERT 模型在语言表示中的异构性以及异常维度，以提高其表现力和性能，并发现各种语言的嵌入空间在结构上部分类似。

    Oct, 2021

  • 用各向同性句子嵌入克服数据集偏差的核白化技术

    利用表示规范化和 Kernel-Whitening 可以提高 BERT 在分布外数据集上的性能，同时保持分布内准确性。

    Oct, 2022

  • Ditto: 一种简单高效改善句向量表示的方法

    该研究提出了一种名为 Diagonal Attention Pooling (Ditto) 的无监督方法来解决 BERT 等预训练语言模型中句子表示的各向异性问题，通过基于模型的重要性估计对单词进行加权，改进了语义文本相似度 (STS) 任务的性能。

    May, 2023

  • 一种基于簇的方法用于改善上下文嵌入空间的等向性

    本文提出了一种基于局部聚类的方法来应对上下文嵌入空间中的退化问题，实验证明该方法可以在多个任务上缓解该问题。

    Jun, 2021

  • 自编码提升预训练词嵌入

    本文研究了预训练单词嵌入的几何结构特征，实验证明保留 top 主成分以提高预训练单词嵌入的准确性是有用的，无需额外的语言资源或标注数据。

    Oct, 2020

  • 探索多语言语言模型中的异性与异常值对于跨语义句子相似度的影响

    通过对多个预训练的多语种语言模型进行研究，探究其输出中的异常维度和它们对各种跨语言语义相似性任务表现的影响。通常使用在平行资源上进行微调的 sentence transformers 在这些任务中表现更好，且表示更各向同性。研究人员通过不同的操作（例如消除异常维度、聚类基于同性等操作）来改进多语种表示。

    Jun, 2023

  • 优化语句表示以提升语义和检索速度

    本文发现传统机器学习中的白化操作同样可以增强句子表示的等向性并取得较为显著的性能提升，同时可以减少句子表示的存储成本和加速模型检索速度。

    Mar, 2021