Nov, 2021

时间不等人！时间错位分析与挑战

PDF
TL;DR本研究旨在通过建立多样化跨不同领域和时间段的 8 个任务套件，量化时间错位对 NLP 模型性能的影响。我们发现时间错位对任务性能的影响比先前报告的要大，结论表明仍需继续研究以提高 NLP 模型的时间强度。
发现论文，激发创造
  • 预训练模型在语言处理任务中的时间效应

    研究语言科技的效能随时间的变化是非常实用的。本文研究了模型性能在下游语言任务中的时间效应，建立了相应术语，识别了进行强有力研究的关键因素，以英语为例，展示了任务的实验，发现依赖于时间的标签正确性并不会降低模型性能，但考虑时域的适应是有益的。自标记表现最佳。

    Nov, 2021

  • 设定时钟：预训练语言模型的时间对齐

    通过对预训练语言模型进行时间对齐，本研究探索了将内在知识与目标时间对齐的方法，并发现对年份为 2022 的 LLaMa2 模型进行对齐可以将其性能相对提高 62%，此外，该研究还发现对历史时间进行对齐同样是可行的，可以使模型在 2010 年的性能提高 2.8 倍。

    Feb, 2024

  • Twitter 上危机期间时间对齐的挑战

    本文重点研究语言使用的时空变化对 NLP 系统的影响，尤其是在社交媒体、自然灾害和人为灾害等危机事件中，短时间内词的使用频率和含义可能会发生快速变化，为此，作者提出了一种基于领域自适应的时态适应方法，通过实验证明了该方法的有效性和适用性，同时也指出目前研究方法存在的局限性。

    Apr, 2021

  • 社交媒体中语言模型的时间泛化的系统分析

    该研究论文主要研究机器学习中的时序转变对社交媒体的影响，通过提出一种统一的评估方案，发现语言模型在不同时间设置下会出现性能下降，尤其在命名实体识别、仇恨言论检测等任务中。而在主题分类和情感分类等任务中，性能下降不明显，同时发现对测试期进行连续预训练并不能提高语言模型的时序适应能力。

    May, 2024

  • 通过丢弃过时事实来缓解时间不对齐问题

    本文提出了事实持续时间预测来缓解时间错位带来的影响，在实验中演示了确定容易变化的事实，可以帮助模型避免重复过时信息，同时在知识密集型任务下建模事实持续时间有助于提高校准性。

    May, 2023

  • 构建未来：评估文本分类器的时间持久性

    本文针对文本分类模型随时间推移性能下降的问题，从实用角度出发，评估了不同语言模型和分类算法的长期稳定性以及数据集特征对时间性稳定性的影响，并在三个跨度为 6 至 19 年的数据集上进行了实际分类实验。

    May, 2022

  • 回到未来 -- 文本表示的顺序对齐

    本研究探讨了语言演化之对于机器学习模型的影响，提出使用序贯对齐学习表示来处理数据漂移的方法，并在多个任务上取得优异的效果。

    Sep, 2019

  • 缓解时间漂移：保持 NER 模型清晰的简单方法

    该研究提出了一种测量推文潜在趋势的直观方法，用于选择最具信息价值的实例以用于训练命名实体识别的神经模型的更新，实验表明，该方法比其他方法使用更少的训练数据更能提高准确性，是一个实用的解决方案。

    Apr, 2021

  • 从文本中提取时间表达式的多语言模型的对抗性对齐

    本论文探讨了跨语言多领域的时间表达抽取方法，并通过对抗训练来将嵌入空间对齐到一个公共空间，从而创建了一个单一的跨语言模型，我们在跨语言迁移实验中取得了最新的成果。

    May, 2020

  • TemporalWiki：面向训练与评估不断进化语言模型的终身基准

    通过使用连续快照之间的差异作为训练和评估数据，我们介绍了一个终身学习基准测试 ——TemporalWiki，旨在评估语言模型在频繁更新的知识库，如维基百科，中获取和保留知识的能力，并发现通过继续学习方法使用 diff 数据进行训练可以通过少量的训练数据安全地更新 LM 中的事实知识。

    Apr, 2022