Aug, 2023

经济政策不确定性：应用与测量方法综述，重点关注文本挖掘方法

PDF
TL;DR经济政策不确定性（EPU）是投资者在经济政策变动中所体验到的不确定性，是经济研究中预测未来投资、失业率和衰退的重要指标。本文简要定义了 EPU 并回顾了用于测量 EPU 的方法，调查了 EPU 水平变动所影响的领域。我们将 EPU 测量方法分为三个主要组别，并列举了每个组别的方法示例，并讨论了每组方法的优缺点。在 EPU 测量方法中，基于文本挖掘的方法得到了广泛研究。这些方法通过考虑新闻和公开可获取的金融信息中所代表的不确定性来测量实现的不确定性。最后，我们调查依赖测量 EPU 指数的研究领域，并希望通过研究不确定性的影响能够引起来自各个研究领域的进一步关注。此外，我们提出了一个关于使用文本材料测量 EPU 的未来研究方法清单。
economic policy uncertaintyepumeasurement methodstext miningresearch areas
发现论文，激发创造
  • 新闻分析中的弱监督：应用于经济政策不确定性

    研究了新闻文章作为补充数据来源来丰富传统数据资源的潜力，提出了一种基于弱监督机器学习来分类新闻文章并生成基于弱监督的经济政策不确定性指数的解决方案，并用这个指数进行了广泛的计量经济学分析以验证该指数是否预示着较弱的宏观经济表现。

    Aug, 2022

  • 不确定性之上的不确定性：探究经济政策不确定性的假设、注释和文本测量

    通过分析一个测量经济政策不确定性的经济学指数，探讨了文本 - 数据应用中的研究方法和应用之间的联系，并发现了对文本 - 数据方法论的研究问题。研究结果表明，(1) 作为关于经济政策不确定性的注释者的分歧可以归因于语言的模糊性，(2) 从匹配关键字的方法转向监督式机器学习分类器的方法将导致低相关性，这对指数的有效性有潜在影响。

    Oct, 2020

  • DEUP：直接预测认知不确定性

    本文提出了一种直接估计超额风险的基于学习次级预测器和减去自身不确定性估计的框架，探讨了其与贝叶斯后验方差等主流方法的不同和改进点，并在一系列实验中展示了这种新方法在迭代学习和探索性强化学习等方面的优越性。

    Feb, 2021

  • 文本摘要中不确定性估计方法的性能评估可信吗？

    通过引入综合评估标准，研究本文对两个大型语言模型和一个预训练语言模型在三个数据集上进行的不确定性估计能力的评估表明，多个不相关的自然语言生成指标和多样化的不确定性估计方法对于可靠高效地评估 UE-TS 技术至关重要。

    Jun, 2024

  • SPUQ：面向大型语言模型的扰动式不确定性量化

    最近几年，大型语言模型（LLMs）已经变得越来越普遍，提供了卓越的文本生成能力。然而，一个迫切的挑战是它们倾向于做出自信的错误预测，突显出在 LLMs 中的不确定性量化（UQ）的重要性。尽管以往的研究主要集中在解决 aleatoric 不确定性，但是包括 epistemic 不确定性在内的整个不确定性范围仍然不够被探索。通过采样与扰动相结合的 UQ 方法（SPUQ），我们提出了一个新颖的 UQ 方法，旨在解决 aleatoric 和 epistemic 不确定性。该方法包括为 LLM 输入生成一组扰动，对于每个扰动进行输出采样，并结合一个聚合模块来推广文本生成任务的采样不确定性方法。通过对各种数据集进行广泛的实验，我们调查了不同的扰动和聚合技术。我们的研究结果显示模型不确定性校准得到了显著改进，平均预期校准误差（ECE）减少了 50％。我们的研究结果表明，我们提出的 UQ 方法为增强 LLMs 的可靠性和可信度迈出了有希望的一步。

    Mar, 2024

  • LM-Polygraph：语言模型的不确定性估计

    大型语言模型的不确定性估计方法 LM-Polygraph 可为文本生成任务提供可靠的响应，并为研究人员提供一致评估的基准，以帮助终端用户辨别可靠性。

    Nov, 2023

  • 测量非概率性不确定性：已知和未知未知因素的认知、逻辑和计算评估

    通过结构化的认知图谱对文字信息进行分析，提出了一种衡量非概率不确定性的方法，该方法还可以通过自动化文本分析大大增强这些技术所提供的可能性。

    Jan, 2022

  • 使用神经网络进行分子性质预测的不确定性量化

    文章通过对 5 个基准数据集的系统评估，研究不同的不确定性量化方法在回归任务中的性能表现，发现没有一种方法完全优于其他方法，也没有一种特别可靠的错误排名。作者建议在已有的技术中进行选择。

    May, 2020

  • 引入一种改良的信息论预测不确定性度量

    应用机器学习模型进行决策需要区分模型所知与不知的内容。本文提供新的洞见，揭示当前预测不确定性度量的局限性，并引入了一种理论上可靠的度量方法来克服这些局限。实验证明，我们引入的度量方法在控制的合成任务中表现得更加合理，并且在利用预测不确定性的实际应用中具有优势。

    Nov, 2023

  • 预训练神经网络的认知不确定性量化

    我们的研究旨在为任何预训练模型量化认识上的不确定性，不需要原始训练数据或模型修改，可以确保广泛适用于任何网络架构或训练技术；我们提出了一种基于梯度的方法来评估认识上的不确定性，通过分析输出相对于模型参数的梯度，从而指示必要的模型调整以准确地表示输入。

    Apr, 2024