Mar, 2022

评估现有技术，预测集成和元学习策略用于模型融合

PDF
TL;DR本篇论文研究了如何将基于 Exponential-Smoothing-Recurrent Neural Network (ES-RNN) 的模型和 ensemble learning 技术相结合，相比于其他基于统计或机器学习的 ensemble 方法，Feature-based Forecast Model Averaging (FFORMA) 对于 late data fusion 的情况表现最好，而另一种 ensemble 方法 Stacking 被证明能够很好地处理所有基本模型性能相似的情况。与 N-BEATS 作为基准相比，实验结果表明，该方法在预测效果上超越了 N-BEATS 作为基准的方法。研究表明模型平均是比模型选择和堆叠策略更稳健的集成方法。此外，实验结果显示梯度提升在实现 ensemble learning 策略时是优越的。
hybridisationensemble learningexponential-smoothing-recurrent neural networkforecastingmodel averaging
发现论文，激发创造
  • 循环神经网络用于时序预测：现状和未来方向

    本文通过详实的实证研究和开源软件框架介绍了现有基于循环神经网络的预测模型，提出了针对这些模型使用的最佳实践和指导方针。研究发现，当数据集的时间序列具有同质季节模式时，RNN 能够直接模拟季节性；否则，建议事先对数据进行季节性去趋势处理。通过与 ETS 和 ARIMA 模型的比较，研究表明，实现了（半）自动化的 RNN 模型在许多情况下是可以竞争使用的。

    Sep, 2019

  • 深度学习中的预测：超越平均值的平均值性能

    准确评估预测模型对于确保可靠的预测至关重要。我们提出了一个新的框架，从多个角度评估单变量时间序列预测模型，比如一步预测和多步预测。通过与经典预测技术比较，我们展示了这一框架的优势，并发现 NHITS 在多步预测上表现最佳，同时在异常处理方面被 Theta 等方法超越。这些发现突显了基于方面的模型评估的重要性。

    Jun, 2024

  • 时间序列预测的集成建模：一种自适应鲁棒优化方法

    该论文提出了一种使用 Adaptive Robust Optimization 构建具有适应性权重的线性回归集成的新方法，以提高时间序列预测模型的准确性和鲁棒性，并演示了其在空气污染管理，能源消耗预测以及热带气旋强度预测等实际应用中优于其他竞争性集成技术的性能。

    Apr, 2023

  • 基于集成的贝叶斯神经网络和传统机器学习算法的混合优化

    通过将贝叶斯神经网络与传统机器学习算法（如随机森林、梯度提升、支持向量机）协同集成的一种新方法，强调了特征集成在优化中的重要性，包括优化的二阶条件，如哈西矩阵的定态性和正定性。与此相反，超参数调整对于改善预期改进（EI (x)）的影响有所削弱。总体而言，集成方法作为一种稳健的、算法优化的方法表现出色。

    Oct, 2023

  • 一种混合残差扩张 LSTM 与指数平滑方法的中期电量负荷预测模型

    本研究提出了一种采用混合和分层深度学习模型进行中期负载预测的方法，该模型结合了指数平滑（ETS）、先进的长短期记忆（LSTM）和集成方法。模拟研究表明，该模型的性能非常高，竞争力强。

    Mar, 2020

  • 多模态非规则时间序列事件的特征融合框架

    本文提出了一种基于长短时记忆网络的多模态不规则时间序列事件的特征融合框架，能够提取复杂特征、捕捉非线性关系和时间依赖关系，并使用特征门控制不同张量的访问频率，实验证明该框架在 MIMIC-III 数据集上能显著优于现有方法。

    Sep, 2022

  • 解释性集成的聚合 f - 平均神经网络

    使用集成学习方法和聚合方法相结合的浅层神经网络在少样本类别增量学习问题上表现出良好性能。

    Oct, 2023

  • 深度回声状态网络与不确定性量化在时空预测中的应用

    介绍了一种应用于非线性、多元时间序列的深度集成 ESN 模型及其在美国长期土壤湿度预测中的应用。

    Jun, 2018

  • 基于 RNN、随机森林和 XGBoost 的分类建模用于非平衡数据：东盟 5 国股市早期崩盘检测案例

    该研究通过使用简单的 RNN 等多种循环神经网络（RNN）结构与经典算法进行比较，评估其在构建 ASEAN-5 股票市场中用于早期崩盘检测的分类模型方面的性能。研究使用不平衡数据进行分析，该类数据很常见，因为市场崩盘的发生是罕见的。研究分析了 2010 年至 2023 年期间东盟五国主要股票市场的日常数据，包括印度尼西亚、马来西亚、新加坡、泰国和菲律宾。以股票价格指数低于 5%、2.5% 和 1% 的风险值为阈值时，将其定义为市场崩盘的目标变量。预测变量包括主要本地和全球市场以及大宗商品市场的技术指标。本研究包括 213 个具有各自滞后期（5、10、15、22、50、200）的预测变量，并使用时间步长 7，将预测变量的总数扩大到 1491。通过 SMOTE-ENN 解决了数据不平衡的挑战。结果表明，所有基于 RNN 的结构均优于随机森林和 XGBoost。在各种 RNN 结构中，由于数据特征不过于复杂且更关注短期信息，简单的 RNN 表现出色。该研究通过包含不同地理区域和时间段以及方法上的调整，增强了和扩展了以往研究观察到的现象范围。

    Jun, 2024

  • 基于注意力的集成汇聚方法用于时间序列预测

    我们提出一种使用基于注意力的集成汇聚模型学习权重的方法来减少时间序列预测中模型偏差的常见技术，并在两个时间序列预测问题上进行测试，发现在预测非平稳的 Lorenz '63 方程时，我们的模型具有出色的有效时间，而在预测 COVID-19 的每周死亡事件时，与现有集成汇聚相比表现不一致。

    Oct, 2023