ACLApr, 2021

缓解时间漂移：保持 NER 模型清晰的简单方法

PDF
TL;DR该研究提出了一种测量推文潜在趋势的直观方法，用于选择最具信息价值的实例以用于训练命名实体识别的神经模型的更新，实验表明，该方法比其他方法使用更少的训练数据更能提高准确性，是一个实用的解决方案。
neural modelsnamed entity recognitiontemporal driftsocial media datamodel updating
发现论文，激发创造
  • Twitter 上的命名实体识别：短期时间漂移的数据集和分析

    本研究旨在探索利用预训练模型进行 Twitter 命名实体识别的问题，构建了一个包含七个实体类型的数据集 TweetNER7，并提供了一组语言模型基线。通过分析不同时期对语言模型性能的影响，尤其是短期降级、基于不同时间段进行语言模型微调的策略和自我标记作为最近标记数据的替代方案。

    Oct, 2022

  • Twitter 上危机期间时间对齐的挑战

    本文重点研究语言使用的时空变化对 NLP 系统的影响，尤其是在社交媒体、自然灾害和人为灾害等危机事件中，短时间内词的使用频率和含义可能会发生快速变化，为此，作者提出了一种基于领域自适应的时态适应方法，通过实验证明了该方法的有效性和适用性，同时也指出目前研究方法存在的局限性。

    Apr, 2021

  • 社交媒體話題分類的非參數時間適應

    本文针对用户生成的社交媒体数据不断变化，现有自然语言处理系统无法适应且需要大量重新训练的问题，提出了一种基于非参数分类器的简单有效的时间适应方法，并通过预测长期 Hashtag 变化的任务进行了实验。结果表明，非参数分类器的分类效果相比最佳参数基线提高了 64.12％，而且被动删除用户数据时也表现出极高的性能。

    Sep, 2022

  • 社交媒体中语言模型的时间泛化的系统分析

    该研究论文主要研究机器学习中的时序转变对社交媒体的影响，通过提出一种统一的评估方案，发现语言模型在不同时间设置下会出现性能下降，尤其在命名实体识别、仇恨言论检测等任务中。而在主题分类和情感分类等任务中，性能下降不明显，同时发现对测试期进行连续预训练并不能提高语言模型的时序适应能力。

    May, 2024

  • 时间不等人！时间错位分析与挑战

    本研究旨在通过建立多样化跨不同领域和时间段的 8 个任务套件，量化时间错位对 NLP 模型性能的影响。我们发现时间错位对任务性能的影响比先前报告的要大，结论表明仍需继续研究以提高 NLP 模型的时间强度。

    Nov, 2021

  • 预训练模型在语言处理任务中的时间效应

    研究语言科技的效能随时间的变化是非常实用的。本文研究了模型性能在下游语言任务中的时间效应，建立了相应术语，识别了进行强有力研究的关键因素，以英语为例，展示了任务的实验，发现依赖于时间的标签正确性并不会降低模型性能，但考虑时域的适应是有益的。自标记表现最佳。

    Nov, 2021

  • 多视角时间概念漂移下掩码语言模型的动态基准测试

    该研究在 Wikidata 数据集上，评估了 11 个预训练的蒙面语言模型对时间概念漂移的影响，以确保其能够适应不断更新的现实世界的事实更新，并提供了一个综合框架来构建不同时间粒度的事实数据集，并通过多个评估角度来评估模型是否过时。

    Feb, 2023

  • 动态语言模型用于不断演变的内容

    本文研究如何将预训练语言模型适应于不断变化的 Web 内容，通过分析 Twitter 数据的演化，探索了词汇组成和抽样方法对语言模型的增量训练的影响，证明了该方法比离线重新训练新模型更具优越性

    Jun, 2021

  • 使用嵌入技术对抗冗余和模型衰减

    本文介绍了 Twitter 在处理海量信息时的一种解决方案，通过采用嵌入模型，实现了同时考虑模型效率与数据分布的算法更新，从而降低因语言变化带来的协变量漂移、减少冗余，并极大地提高了团队建模的效率。

    Sep, 2018

  • 流式短文本可靠可解释的漂移检测

    本研究提出了一种可靠的端到端框架，用于大型任务导向对话系统中模型无关变点检测和解释，并通过模拟对话系统中的客户请求，评估了该方法并展示了其效果。

    May, 2023