Sep, 2022

社交媒體話題分類的非參數時間適應

PDF
TL;DR本文针对用户生成的社交媒体数据不断变化，现有自然语言处理系统无法适应且需要大量重新训练的问题，提出了一种基于非参数分类器的简单有效的时间适应方法，并通过预测长期 Hashtag 变化的任务进行了实验。结果表明，非参数分类器的分类效果相比最佳参数基线提高了 64.12％，而且被动删除用户数据时也表现出极高的性能。
user-generated social media datasocial media nlp applicationstemporal adaptationnon-parametric techniquehashtag prediction
发现论文，激发创造
  • 缓解时间漂移：保持 NER 模型清晰的简单方法

    该研究提出了一种测量推文潜在趋势的直观方法，用于选择最具信息价值的实例以用于训练命名实体识别的神经模型的更新，实验表明，该方法比其他方法使用更少的训练数据更能提高准确性，是一个实用的解决方案。

    Apr, 2021

  • 社交媒体中语言模型的时间泛化的系统分析

    该研究论文主要研究机器学习中的时序转变对社交媒体的影响，通过提出一种统一的评估方案，发现语言模型在不同时间设置下会出现性能下降，尤其在命名实体识别、仇恨言论检测等任务中。而在主题分类和情感分类等任务中，性能下降不明显，同时发现对测试期进行连续预训练并不能提高语言模型的时序适应能力。

    May, 2024

  • 神经机器翻译的非参数适应

    本文提出了一种半参数神经机器翻译方法，采用 n-gram 级别的检索方法和表现出色的非参数特性，针对神经网络在训练过程中的参数漂移而提出的而提高网络的鲁棒性的问题，在四种测试数据集上取得了优异的表现，进一步打开了使用非参数方法进行领域自适应的大门。

    Feb, 2019

  • Twitter 上危机期间时间对齐的挑战

    本文重点研究语言使用的时空变化对 NLP 系统的影响，尤其是在社交媒体、自然灾害和人为灾害等危机事件中，短时间内词的使用频率和含义可能会发生快速变化，为此，作者提出了一种基于领域自适应的时态适应方法，通过实验证明了该方法的有效性和适用性，同时也指出目前研究方法存在的局限性。

    Apr, 2021

  • 时间会改变一切：社交媒体分类中动态语言理解的实证研究

    研究了社交媒体的 NLU，通过动态设置来讨论模型的适应性和使用无标记数据来提高模型的鲁棒性，使用基于自动编码和伪标记的无监督领域自适应和联合框架的实验证明了动态环境对分类精度的普遍负面影响，同时表现出最佳的鲁棒性。

    Oct, 2022

  • StreamingQA：面向问答模型随时间适应新知识的基准测试

    本文创建了一个大规模的数据集 StreamingQA，以研究半参数问答模型在面对不断更新的知识时如何适应，并发现在适应过程中，参数化模型可以通过更新而不是完全重新训练来避免灾难性遗忘，但是过时的参数化 LMs 会使半参数模型性能下降。

    May, 2022

  • 不再腐朽：一个用于学习社交含义的持久 Twitter 数据集

    通过使用释义模型，我们构建了一个新的持久的英语推特数据集，克服了数据衰减的挑战，可以替代实际推文并提供较小的性能损失

    Apr, 2022

  • Twitter 上的命名实体识别：短期时间漂移的数据集和分析

    本研究旨在探索利用预训练模型进行 Twitter 命名实体识别的问题，构建了一个包含七个实体类型的数据集 TweetNER7，并提供了一组语言模型基线。通过分析不同时期对语言模型性能的影响，尤其是短期降级、基于不同时间段进行语言模型微调的策略和自我标记作为最近标记数据的替代方案。

    Oct, 2022

  • 非参数时间序列分类的潜在源模型

    使用近邻法分类时间序列的理论依据是，许多应用场景下实际上原型时间序列相对于我们可以访问的时间序列数量非常少；作者提出了一种基于潜在源模型的分类规则，并在合成数据上验证了加权多数投票与近邻分类的同等正确分类率。通过这种方法，在 Twitter 上可以提前 1 小时 26 分钟实现 95% 的 “趋势话题” 检测。

    Feb, 2013

  • 来自微型文本的非参数贝叶斯故事线检测

    我们用基于距离依赖的中文饭店过程（dd-CRP）提出了故事情节检测的一个新的在线非参数贝叶斯框架。通过使用固定滞后吉布斯采样过程来保证高效的线性推断，衡量方法在 TREC Twitter 时间线生成（TTG）上表现出色，与 2014 年 TTG 任务的最佳结果相当，尽管采用的是一个较弱的基线检索模型。

    Jan, 2016