Jun, 2024

语言模型是否能使用预测策略？

PDF
TL;DR深度学习系统在图像分类、基本编程和标准化测试中已经达到或超过了人类的准确率。然而，在预测未来事件的能力上，模型仍然难以取得准确的结果。本研究使用了一种新颖的真实世界事件数据集和相关的人类预测，提出了一个评估指标来衡量预测能力，并对不同基于 LLM 的预测模型在该数据集上的准确性进行了分析。结果显示，模型在预测未来方面仍然存在困难，可能是由于模型倾向于猜测大多数事件不太可能发生，这在许多预测数据集中是正确的，但并不反映实际的预测能力。我们对开发系统化和可靠的 LLM 预测方法的下一步工作进行了思考。
deep learning systemsforecastingllmdatasethuman predictions
发现论文，激发创造
  • 运用语言模型接近人类水平的预测

    利用语言模型进行预测可以在大规模上提供准确的预测结果，对于决策和政策制定具有重要意义。

    Feb, 2024

  • 人类 vs 大型语言模型：先进人工智能时代的判断性预测

    本研究通过比较人类专家与大型语言模型（LLMs）之间在零售行业中标准销售期和促销销售期的预测准确性，利用 123 位人类预测者和 5 个 LLMs（包括 ChatGPT4、ChatGPT3.5、Bard、Bing 和 Llama2），通过平均绝对百分比误差评估预测精度。我们的分析集中于以下因素对预测者表现的影响：支持的统计模型（基线和高级）、产品是否促销以及外部影响的性质。研究结果表明，LLMs 在预测准确性上并不一致地胜过人类，并且高级统计预测模型并不一致地提升人类预测者或 LLMs 的性能。无论是人类预测者还是 LLM 预测者，在促销期间和受到积极外部影响的影响下，都表现出更高的预测误差。我们的研究结果要求在将 LLMs 纳入实际预测过程时需要谨慎考虑。

    Dec, 2023

  • LLMs 的时间序列预测：理解和增强模型能力

    大型语言模型在时间序列预测方面具有明显的优势和限制，尤其在具备明确模式和趋势的数据上，LLMs 表现出色，但在缺乏周期性的数据集上面临挑战。研究发现，引入外部知识和采用自然语言改写有利于提升 LLMs 在时间序列预测中的预测性能。

    Feb, 2024

  • 大型语言模型的宏观经济预测

    通过对比分析，本论文评估了大型语言模型和传统宏观时间序列预测方法的准确性。发现大型语言模型在宏观经济时间序列预测方面与传统方法相比存在优势和局限性。

    Jul, 2024

  • 交通系统中的大型语言模型：关于预测任务的调查

    使用大型语言模型 (LLM) 对移动性预测问题进行综述，介绍了在交通系统内使用 LLM 的应用、最新进展以及需要克服的挑战。

    May, 2024

  • 大型语言模型在预测神经科学结果方面超越人类专家

    通过大规模语言模型（LLMs）来预测神经科学实验结果，发现 LLMs 在预测实验结果方面超过了专家，并且经过优化的神经科学文献模型 BrainGPT 表现更好，这预示着人类与 LLMs 共同合作进行科学发现的未来。

    Mar, 2024

  • 语言模型对时间序列预测是否真的有用？

    在大型语言模型中，尤其是在时间序列预测方面，进行了一系列消融研究，发现移除语言模型组件或用基本的注意力层替换并不降低预测结果，甚至在大多数情况下结果有所提升。此外，预训练的语言模型并不比从头开始训练的模型更好，不能准确表示时间序列中的顺序依赖关系，也不能在小样本场景中提供帮助。同时，研究了时间序列编码器，揭示了贴片和注意力结构与基于最新技术的 LLM 的预测模型效果相似。

    Jun, 2024

  • AI 增强预测：LLM 助理提高人类预测准确性

    该研究探讨了大型语言模型（LLMs）在预测任务中增强判断能力的潜力，研究结果表明，与对照组相比，LLM 辅助可以显著提高预测准确性，即使是面对回答不确定的认知要求高的任务，使用 LLM 助手（即使是倾向性的助手）仍然可以作为有益的决策辅助。

    Feb, 2024

  • 基于 LLMs 的贝叶斯统计建模

    利用贝叶斯统计模型，研究了大型语言模型（LLMs）在人类行为预测方面的类人特性，发现 LLMs 不能准确捕获人类数据的各项细节，但在聚合和条件水平的预测方面可以有效适配人类数据，显示出某些不同的方法可以使其得到充分的分布式预测。

    Jun, 2024

  • 用于预测和异常检测的大型语言模型：系统文献综述

    通过系统性文献综述，全面考察了在预测和异常检测中使用大规模语言模型（LLMs）的应用，突出了现有研究的现状、固有挑战和未来发展方向。LLMs 已经在解析和分析大规模数据集以识别模式、预测未来事件和检测异常行为等各个领域展现了巨大潜力。然而，该综述指出了一些关键挑战，如依赖于大量历史数据集、在不同背景中的泛化问题、模型产生幻觉的现象、模型知识范围的局限性以及需要大量计算资源等，这些挑战阻碍了它们更广泛的应用和有效性。通过详细分析，本综述讨论了克服这些障碍的潜在解决方案和策略，如整合多模态数据，学习方法的进步以及强调模型可解释性和计算效率。此外，该综述还概述了可能影响 LLMs 在这些领域中发展的关键趋势，包括朝向实时处理、可持续建模实践的重要性和跨学科合作的价值。最后，该综述强调了 LLMs 对预测和异常检测可能产生的转变性影响，同时强调了持续创新、道德考虑和实际解决方案的需求以实现其全部潜力。

    Feb, 2024