稳定各向异性正则化

May, 2023

Stable Anisotropic Regularization

William Rudman, Carsten Eickhoff

TL;DR本文提出一种新的正则化方法 I-STAR，该方法可以在训练过程中增加或减少嵌入空间中的等向性水平，并发现在大多数任务和模型中减少等向性可以改善性能。

Abstract

Given the success of large language models (LLMs), there has been considerable interest in studying the properties of model activations. The literature overwhelmingly agrees that LLM representations are dominated

large language models model activations outlier dimensions isotropy regularization method

发现论文，激发创造

IsoScore: 量化嵌入空间利用均匀性

通过提出量化点云普遍利用环境向量空间程度的新工具 IsoScore，该文挑战了诸多基于 NLP 文献存在问题的指标的结论。

Aug, 2021

使用各向同性批量归一化 Fine-Tuning BERT

本文研究了预训练语言模型中的同向性问题，提出了一种新的网络正则化方法：同向批量归一化（IsoBN），用于解决优化学习中掌握主要因素的问题，从而获得更多同向表现，提高了七项自然语言理解任务约 1.0 的绝对增量。

May, 2020

探索多语言语言模型中的异性与异常值对于跨语义句子相似度的影响

通过对多个预训练的多语种语言模型进行研究，探究其输出中的异常维度和它们对各种跨语言语义相似性任务表现的影响。通常使用在平行资源上进行微调的 sentence transformers 在这些任务中表现更好，且表示更各向同性。研究人员通过不同的操作（例如消除异常维度、聚类基于同性等操作）来改进多语种表示。

Jun, 2023

各向同性表示可以提高密集检索性能

本研究使用 Normalizing Flow 和 whitening 等无监督的后处理方法，提出一种基于令牌和序列的方法来处理密集检索模型的表示，优化 BERT 表示的各向同性分布，实验结果表明，这种方法可以显著提高文档排序的性能，并在处理不同的测试数据集时具有潜在的鲁棒性。

Sep, 2022

多语言 BERT 嵌入空间中的各向同性分析

研究探讨如何解决多语种 BERT 模型在语言表示中的异构性以及异常维度，以提高其表现力和性能，并发现各种语言的嵌入空间在结构上部分类似。

Oct, 2021

学习去除：面向各向同性的预训练 BERT 嵌入

研究表明预训练语言模型，如 BERT，在自然语言处理方面具有更广泛的应用价值。本文探究和分析预训练 BERT 嵌入的几何特征，提出一种基于可学习权重的简单而有效的方法，可以更好地处理向量的同一性问题，并在三项标准任务中获得较好的性能表现。

Apr, 2021

一种基于簇的方法用于改善上下文嵌入空间的等向性

本文提出了一种基于局部聚类的方法来应对上下文嵌入空间中的退化问题，实验证明该方法可以在多个任务上缓解该问题。