Oct, 2022

时间会改变一切：社交媒体分类中动态语言理解的实证研究

PDF
TL;DR研究了社交媒体的 NLU，通过动态设置来讨论模型的适应性和使用无标记数据来提高模型的鲁棒性，使用基于自动编码和伪标记的无监督领域自适应和联合框架的实验证明了动态环境对分类精度的普遍负面影响，同时表现出最佳的鲁棒性。
social medianatural language understandingdynamic setupunsupervised domain adaptionauto-encoding
发现论文，激发创造
  • 基于预训练语言模型的社交媒体时间感知话题识别：以电动汽车为例的案例研究

    本研究提出了一种基于预训练语言模型的时序话题识别方法，采用 reddit 电动汽车数据进行实证分析，证明了从海量社交媒体中以时序方式捕获新出现话题的可行性。

    Oct, 2022

  • 社交媒体中语言模型的时间泛化的系统分析

    该研究论文主要研究机器学习中的时序转变对社交媒体的影响，通过提出一种统一的评估方案，发现语言模型在不同时间设置下会出现性能下降，尤其在命名实体识别、仇恨言论检测等任务中。而在主题分类和情感分类等任务中，性能下降不明显，同时发现对测试期进行连续预训练并不能提高语言模型的时序适应能力。

    May, 2024

  • Twitter 上危机期间时间对齐的挑战

    本文重点研究语言使用的时空变化对 NLP 系统的影响，尤其是在社交媒体、自然灾害和人为灾害等危机事件中，短时间内词的使用频率和含义可能会发生快速变化，为此，作者提出了一种基于领域自适应的时态适应方法，通过实验证明了该方法的有效性和适用性，同时也指出目前研究方法存在的局限性。

    Apr, 2021

  • 动态语言模型用于不断演变的内容

    本文研究如何将预训练语言模型适应于不断变化的 Web 内容，通过分析 Twitter 数据的演化，探索了词汇组成和抽样方法对语言模型的增量训练的影响，证明了该方法比离线重新训练新模型更具优越性

    Jun, 2021

  • 社交媒體話題分類的非參數時間適應

    本文针对用户生成的社交媒体数据不断变化，现有自然语言处理系统无法适应且需要大量重新训练的问题，提出了一种基于非参数分类器的简单有效的时间适应方法，并通过预测长期 Hashtag 变化的任务进行了实验。结果表明，非参数分类器的分类效果相比最佳参数基线提高了 64.12％，而且被动删除用户数据时也表现出极高的性能。

    Sep, 2022

  • 上下文化语言模型用于语义变化检测：经验教训

    本文研究使用基于上下文嵌入方法进行检测历时语义变化的可能存在的输出错误。通过引入单一方法并进行深入的分析，作者发现这种方法可能会将词汇的词典含义变化与上下文语境的变化混淆，同时将词汇实体的句法和语义方面合并在一起。本文提出了一些解决这些问题的未来可能方案。

    Aug, 2022

  • Mind the Gap: 评估神经语言模型的时间泛化能力

    研究表明，Transformer-XL 语言模型在预测超出其训练期的未来话语时，性能会随着时间的推移而逐渐降低。基于此，提出了动态语言建模的思路，并通过不断更新知识来缓解性能退化问题。因此，应重新思考我们目前培训和评估语言模型的方法，并发展出适应我们日益变化和非稳定的世界的自适应语言模型。

    Feb, 2021

  • 会话偏离的动态预测

    自动预测公开在线对话中的偏离度可提供早期干预机会。我们将预训练语言编码器应用于此任务，并尝试将训练范式从静态转换为动态以增加预测范围。该方法在高质量数据环境下表现出更长平均预测范围，但在低质量数据环境下动态训练会传播噪音并对性能产生负面影响。

    Oct, 2021

  • 社交媒体用户的动态表示学习在 NLP 中的应用

    本文提出了一种基于图注意力网络的模型，该模型动态地探索一个用户的社交图，计算用户表征并结合语言信息进行预测，在三项任务上进行评估并与其他模型进行对比，表明该模型明显优于当今其他方法。

    Sep, 2019

  • 语言变化对自动化评论审核的影响

    本文研究在线仇恨在新闻评论中的传播情况，提出了使用机器学习和自然语言处理实现半自动恶意语言检测的方法，并通过德国报纸评论数据集的测试发现，传统机器学习技术对于动态语言环境下的检测效果不佳，需要考虑时序动态性以避免使用不具实用价值的模型。

    Jul, 2022