Jun, 2022

TransDrift: 使用 Transformer 建模词嵌入漂移

PDF
TL;DR本文提出了一种基于 transformer 的预测模型 TransDrift 用于保持 word embeddings 与数据分布的一致性，实验证明预测嵌入能够显著提高分类准确性。
nlpword embeddingsdata drifttransformer-based prediction modelclassification tasks
发现论文，激发创造
  • 动态词向量

    该研究提出了一种基于概率的语言模型，可以跟踪个别单词随时间的语义演变，并通过嵌入空间中的潜在轨迹表示单词和上下文。研究发现，该动态模型推断的单词嵌入轨迹更易解释，并且具有更高的预测性可能性。

    Feb, 2017

  • 生成文本流中的漂移方法

    本文提供了四种文本漂移生成方法，以便生成带有标记漂移的数据集，并使用增量分类器测试它们恢复漂移的能力。结果表明，所有方法在漂移后性能都有所下降，增量支持向量机在准确性和宏 F1 得分方面运行速度最快，恢复了之前的性能水平。

    Mar, 2024

  • 语言数据集漂移的表征与测量

    本文提出三个语言数据漂移维度：词汇、结构和语义漂移，通过词频差异、句法差异和不可被词频捕捉的语义变化等度量，研究发现该方法比以前的方法更能够预测模型准确性，特别是在预测模型在测试集上的表现时。

    May, 2023

  • 流式短文本可靠可解释的漂移检测

    本研究提出了一种可靠的端到端框架，用于大型任务导向对话系统中模型无关变点检测和解释，并通过模拟对话系统中的客户请求，评估了该方法并展示了其效果。

    May, 2023

  • 历时词向量和语义漂移：一项调查

    本文综述了当前关于使用预测型词嵌入模型追踪词汇语义时序变化和语义漂移检测的学术研究现状，并讨论了该领域的挑战和应用前景。

    Jun, 2018

  • 基于语言模型的嵌入方式测量文本的分布变化优势

    利用大型语言模型（LLMs）生成的嵌入向量，我们提出了一种基于聚类的算法来测量文本数据的分布漂移，并通过实验证明其对于数据漂移的敏感性比其他嵌入方法更高。我们还提出了数据漂移敏感性作为衡量语言模型的重要评估指标，并从 18 个月的实际部署中总结了经验教训。

    Dec, 2023

  • 理解词嵌入的下游不稳定性

    对现代自然语言处理管道的核心构建块 —— 预训练词嵌入的稳定性进行深入研究，通过提出新的嵌入不稳定性度量来解释模型训练的不稳定性，并提出提高嵌入存储大小以达到降低不稳定性的稳定性 - 内存权衡。

    Feb, 2020

  • 缓解时间漂移：保持 NER 模型清晰的简单方法

    该研究提出了一种测量推文潜在趋势的直观方法，用于选择最具信息价值的实例以用于训练命名实体识别的神经模型的更新，实验表明，该方法比其他方法使用更少的训练数据更能提高准确性，是一个实用的解决方案。

    Apr, 2021

  • DetAIL：一款自动检测和分析语言漂移的工具

    本论文旨在确保 “基于机器学习和深度学习” 的系统能够像传统软件一样可靠。论文提出了一种度量数据漂移的方法以及在其发生时自适应地重新训练模型的方法，并生成不同层面的解释以理解漂移原因。

    Nov, 2022

  • 使用文档嵌入和降维技术检测文本数据中的协变量漂移

    探讨使用不同文档嵌入、降维技术和漂移检测方法来识别文本数据中的协变漂移的有效性，结果表明某些组合的嵌入、降维技术和漂移检测方法在检测协变漂移方面表现优异。

    Sep, 2023