理解词嵌入的下游不稳定性

Feb, 2020

Understanding the Downstream Instability of Word Embeddings

Megan Leszczynski, Avner May, Jian Zhang, Sen Wu, Christopher R. Aberger...

TL;DR对现代自然语言处理管道的核心构建块 —— 预训练词嵌入的稳定性进行深入研究，通过提出新的嵌入不稳定性度量来解释模型训练的不稳定性，并提出提高嵌入存储大小以达到降低不稳定性的稳定性 - 内存权衡。

Abstract

Many industrial machine learning (ML) systems require frequent retraining to keep up-to-date with constantly changing data. This retraining exacerbates a large challenge facing ML systems today: model training is unstable, i.e., small changes in training data can cause significant chan

machine learning natural language processing word embeddings model stability data retraining

发现论文，激发创造

影响单词嵌入稳定性的因素

本文探讨了词向量方法的局限性，特别是它们在稳定性方面的表现，并通过实证研究探究了多种因素对词嵌入稳定性的贡献以及稳定性对下游任务的影响。

Apr, 2018

跨语言词向量稳定性变异的分析

我们探索了不同语言中词嵌入的稳定性，并讨论了与稳定性相关的语言属性，如词缀和语言性别系统等，这对于研究语言趋势的词嵌入应用具有重要意义。

Apr, 2020

连续数据更新下的模型稳定性

本研究探讨了机器学习模型的稳定性问题，提出了评估模型稳定性的方法，并发现网络架构和输入表示等模型设计选择对稳定性有重大影响，推荐在进行建模选择时考虑准确性和抖动之间的权衡。

Jan, 2022

深度神经网络中局部不稳定性的测量和缓解

通过研究模型在训练过程中的随机性，我们发现在自然语言理解任务中，模型的预测结果的不稳定性会对一部分查询产生影响，提出了一种衡量稳定性现象的方法 —— 标签熵，我们研究了数据不可知的正则化方法和新的数据中心方法，发现它已在计算成本的分数中取得了 90% 的性能优势以及金标准的表现。

May, 2023

下采样策略对 SVD 词嵌入稳定性的影响

比较不同语料库中词嵌入算法的稳定性和准确性，发现下采样策略特别影响 SVDPPMI 型嵌入的稳定性，通过简单修改可以提高稳定性和与 skip-gram 嵌入一样的准确性。

Aug, 2018

对比学习中的不确定性：下游性能可预测性研究

本文研究了基于对比学习的深度学习模型的嵌入向量的不确定性评估问题，并提出了一种方法，直接在嵌入空间中估计数据分布并考虑其局部一致性，结果表明该方法可以有效预测嵌入向量的下游性能。

Jul, 2022

压缩词嵌入的下游性能

该研究提出了基于特征空间重叠度的嵌入压缩质量度量方法，并探究了压缩后词嵌入对线性和逻辑回归下游任务的影响，同时证明了基于均匀量化的压缩方法的高效性和实用性。

Sep, 2019

电子商务机器学习的预训练嵌入：失败及其原因分析

本文研究探讨了预训练嵌入在实际生产系统中的挑战及解决方案，找到了预训练和下游模型的编码和解码方式的设计对其性能的巨大影响，提出了一种基于核分析的认识预训练嵌入的方式。以上研究结论通过理论推理、实验和在线测试得到验证。

Apr, 2023

理解词嵌入中偏见的起源

使用我们的方法，可以了解到 word embedding 偏差的起源，并找出删除哪些文档可以最大程度地降低偏差。我们在《纽约时报》和 Wikipedia 语料库上演示了我们的技术，并发现我们的影响函数近似非常精确。

Oct, 2018

分析过敏的 AI：企业级机器学习中的不稳定性

本研究关注于应用预测几何模型于机器学习中时所面临的稳定性和方差问题，并通过分析诸如单个数据点、逼近方法和参数设置等特征对基于 word2vec 的推荐系统几何模型进行调整和优化，以实现对大规模数据点的信息价值检测。

Jul, 2018