基于统计的深度学习算法对 Transformer 文本嵌入进行排名和表征

Oct, 2023

基于统计的深度学习算法对 Transformer 文本嵌入进行排名和表征

Statistical Depth for Ranking and Characterizing Transformer-Based Text Embeddings

Parker Seegmiller, Sarah Masud Preum

TL;DR基于 Transformer 的文本嵌入的流行性呼吁更好的统计工具来衡量这些嵌入的分布。本文介绍了一种用于测量 transformer-based 文本嵌入分布的统计深度方法 TTE depth，并在自然语言处理流程中引入了该深度的实际应用，包括建模和分布推断。研究使用 TTE depth 对上下文学习提示选择任务进行了实验，展示了该方法相对于统计基准方法在六个文本分类任务上可靠提升性能的结果。最后，研究使用 TTE depth 及其相关的秩和检验特征了合成和人工生成语料库的分布，显示出五种最近的合成数据增强过程导致与相关的人工生成文本发生可测量的分布偏移。

Abstract

The popularity of transformer-based text embeddings calls for better statistical tools for measuring distributions of such embeddings. One such tool would be a method for ranking texts within a corpus by

transformer-based text embeddings statistical tools centrality tte depth nlp pipelines

发现论文，激发创造

深度统计

论文介绍了数据深度及其在统计学中的应用，包括计算和鲁棒性的差异、中心区域及其在描述数据分布方面的作用，以及对概率分布的扩展和在功能空间中的应用。

Jul, 2012

基于深度截断区域的概率分布伪度量

本文提出了一种新的假距度量方法，该方法使用数据深度来扩展多元分位数的概念，从而度量欧几里得空间上的连续概率分布之间的差异，并通过有限样本破坏点研究了其稳健性。

Mar, 2021

快速深度自适应变压器

本文提出基于互信息和重构误差两种方法来测量输入词语的难度和估计相应的自适应深度，从而摆脱判停单元，并提高深度自适应模型的速度和稳定性。实验证明，该方法能够在保持高准确性的同时，加快原始 Transformer 速度（高达 7 倍），并提高效率和鲁棒性，相对于其他深度自适应方法具有显著优势。

Apr, 2020

文本网络嵌入的扩散映射

采用扩散映射对词语网络嵌入进行建模，以更好地捕捉文本之间的语义联系，并提供一种新的目标函数来有效保留多阶接近度。该方法在顶点分类和链路预测任务上优于最先进的方法。

May, 2018

深度潜在位置主题模型用于文本边网络的聚类和表示

本研究介绍了一种基于概率模型和可变图自动编码器方法的 Deep-LPTM 模型聚类策略，使节点和边在两个嵌入空间中构建联合表示，以解决社交网络中的节点聚类和数据可视化等问题，并在 Enron 公司的电子邮件数据上进行了验证。

Apr, 2023

非凸支持数据的快速核半空间深度

通过在再生核希尔伯特空间中扩展半空间深度来处理分布的多模态性，并证明了该深度的一致性和可靠的浓度界限，从而实现了快速计算半空间深度数倍数量级的性能。

Dec, 2023

用于计算语义相似度的分类和神经嵌入方法的评估

本论文探讨了计算语义相似度的不同方法，比较了分类和分布式语义相似度的不同特点，提出了类别相似度建模的三种加权因素，发现在不同词频、多义性和相似度强度范围内存在语义相似度计算巨大差距。

Sep, 2022

基于 Transformer 编码器和特征融合的深度估计算法

该研究提出了一种基于 Transformer 编码器架构的创新深度估计算法，针对 NYU 和 KITTI 深度数据集。该研究采用 Transformer 模型来捕捉图像数据中的复杂空间关系以用于深度估计任务，并集成了结构相似性指数 (SSIM) 和均方误差 (MSE) 的复合损失函数，以确保预测的深度图像在结构上保持一致并最小化像素级估计误差。经过严格训练和评估，模型在 NYU 深度数据集上展现出卓越性能，为单幅图像深度估计，尤其是在复杂室内和交通环境中，带来了显著的进展。

Mar, 2024

函数数据的极值深度及其应用

本研究提出了一种新的概念 —— 极端深度（ED）用于函数数据，讨论了其性质，并将其性能与现有概念进行了比较。该提议的概念基于极端异常度量，具有其他概念不具备的一些理想性质，特别适合于获得函数数据和函数空间的中心区域，在构建集中区域、函数箱线图、异常值检测和回归问题中有着广泛的应用。

Oct, 2015

通过 Wasserstein 重心镜头自动文本评估

提出了基于 Wasserstein 距离和 barycenter 的新框架和指标 BaryScore 来衡量基于深度情境化嵌入（例如 BERT、Roberta、ELMo）的文本生成质量，通过建模深度情境化嵌入的层输出为概率分布或向量嵌入等多种形式，这一框架提供了一种自然的聚合不同输出的方法，并对度量提供了理论依据，针对机器翻译、数据到文本生成和图像字幕等领域进行了数值测评，结果表明 BaryScore 指标在特别是文本摘要方面优于其他基于 BERT 的指标并且表现更为一致。

Aug, 2021