基于时间文档历史的未来语言建模
深度学习系统在图像分类、基本编程和标准化测试中已经达到或超过了人类的准确率。然而,在预测未来事件的能力上,模型仍然难以取得准确的结果。本研究使用了一种新颖的真实世界事件数据集和相关的人类预测,提出了一个评估指标来衡量预测能力,并对不同基于 LLM 的预测模型在该数据集上的准确性进行了分析。结果显示,模型在预测未来方面仍然存在困难,可能是由于模型倾向于猜测大多数事件不太可能发生,这在许多预测数据集中是正确的,但并不反映实际的预测能力。我们对开发系统化和可靠的 LLM 预测方法的下一步工作进行了思考。
Jun, 2024
通过研究推特上的未来学家预测的除了未来,并深入探究了语言提示对社交媒体用户的预测思维的影响,本研究使用尖端的自然语言处理模型构建了一个可扩展的 NLP 流程,并通过 LDA 和 BERTopic 方法识别了推特上未来学家的 15 个主题和 100 个不同主题,为未来学术研究和推特上的未来学家所预测提供了新的见解。
Jul, 2023
本文提出了一种新的基于语言基础模型的时间序列模式挖掘流程,以用于人类移动预测任务,该模型通过引入特定提示将数值时间序列转换为句子,以便直接应用于现有语言模型,设计了一个 AuxMobLCast 流程用于预测每个 POI 的访客数量,结合了辅助 POI 分类和编码器 - 解码器架构,实证证明了该流程在移动性预测任务中发现序列模式的有效性,并在三个真实数据集上进行了评估,表现良好。
Sep, 2022
本文提出了一种基于预训练生成式 transformer 网络的方法 Future Sight,以实现未来条件限制的故事生成任务,在保留自注意机制的同时,增加了对未来情节的建模,使生成内容更有逻辑性和连贯性。
Dec, 2022
通过自然语言处理和机器学习技术,我们提出一种能够在语篇层面检测金融相关新闻时态性的新系统,利用了句法和语义依赖等复杂特征,从而提取主要陈述的主导时态。实验结果表明,与一种基于规则的替代方法相比,该系统具有较高的检测精确度,最终有助于发掘金融决策的预测性知识。
Mar, 2024
本文提出了解释性时间推理的首个任务,即通过对多个事件进行多步骤的时间推理和对未来时间戳的预测,预测事件在未来时间戳上的发生,并提供清晰的解释。我们基于多源指导调整数据集和知识图谱生成策略,提出了第一个支持解释性时间推理的开源 LLM 系列 TimeLlaMA,该方法在时间预测和解释方面取得了最先进的性能。
Oct, 2023
本文提出了一种基于 FutureTOD 模型的对话预训练方法,该方法可通过自我训练并利用未来奖励来使模型学习到当下上下文信息和预测未来信息,从而提高对话表示的概括、鲁棒和学习判别性能力,并在不同的下游对话任务中获得了良好的表现。
Jun, 2023