注意力机制在机器学习中得到广泛应用，特别是在 Transformer 模型中。然而，在这种架构的所有实现中，注意力矩阵的秩和头的数量几乎以相同的方式进行扩展，缺乏理论上的正当性。本研究表明，注意力机制的秩和头的数量之间存在显著的权衡。通过引入一个简单而自然的目标函数，我们证明可以使用单个全秩的注意力头来表示任意上下文长度，但除非头的数量呈指数级增长，否则无法用低秩注意力近似表示，即使对于较短的上下文长度也是如此。此外，我们证明，在较短的上下文长度中，增加模型的深度可以用低秩注意力来近似表示目标函数。对于较长的上下文长度，我们推测使用全秩注意力是必要的。最后，我们通过使用现成的 Transformer 模型进行实验，验证了我们理论结果的有效性。

Jul, 2024

该研究提出了一种综合评估和排名时间序列预测方法的基准方法，在机器学习和人工智能领域，通过比较分析 AutoGluon-Timeseries 和 sktime 两个时间序列预测框架的众多方法的性能，为选择最合适的预测方法提供了决策参考和工具。

Jul, 2024

我们引入了一种检测交换因子的算法（DECOR），它能够有效地减少计算工作量，以实践中检查因子是否是可交换的。

Jul, 2024

帕金森病是一种进行性神经退行性疾病，严重影响运动和非运动功能，包括语言。本文通过语音数据分析提供了帕金森病识别的综合方法评述，突出了机器学习和数据驱动方法的进展。我们讨论了数据清洗、转换、探索性数据分析等数据整理过程，为机器学习应用准备数据集。研究探讨了各种分类算法，包括逻辑回归、支持向量机和神经网络，有无特征选择。每种方法都基于准确性、精确度和训练时间进行评估。研究结果表明，特定的声学特征和先进的机器学习技术能够有效区分患有帕金森病和健康对照组的个体。研究总结了不同模型的比较，确定了对于帕金森病识别来说最有效的方法，并提出了未来研究的潜在方向。

Jul, 2024

提出了一种两阶段级联特征聚类和选择算法，该算法通过聚类相关特征并解决特征间的冗余性来在模糊决策系统中减少搜索空间。其中，第一阶段通过聚类减少搜索空间，第二阶段通过基于聚类的顺序前向选择方法来探索数据的全局和局部结构。实验证明该算法在分类准确率和所选特征数量上优于基准算法。

Jul, 2024

通过对观测数据进行训练，我们提出了一种全新的方法，使用神经网络来预测未来的天气，避免了对基于物理模型的数据同化的依赖，并成功学习了实际观测中捕捉到的物理过程的时间演化。

Jul, 2024

通过将机器学习算法与红外热成像技术相结合，研究通过启发式特征工程技术在各种回归模型上进行系统评估，从而提高体温测量的准确性和可靠性。在非神经网络模型中，binning 方法表现最佳，RMSE 为 0.2296，而卷积神经网络模型达到最低的 RMSE 为 0.2223，这一结果较之前的文献报告更为出色。该研究发现将先进的特征工程与机器学习相结合能够提高诊断工具的有效性，并在其他非接触或遥感生物医学应用领域具有潜力。论文提供了对这些方法的全面分析，为非侵入性医学诊断领域未来的研究奠定了基础。

Jul, 2024

本研究利用深度学习模型和多头注意力机制 (FFNN-MHA)，通过学习个体患者的个性化上下文信息，提高机械通气需求的准确预测并减少错误结果。在 MIMIC-IV 数据集上，FFNN-MHA 相比于传统模型如前馈神经网络，AUC 值提高了 0.0379，假阳性率减少了 17.8％。研究结果提示 FFNN-MHA 模型在重症监护环境中准确预测机械通气需求方面具有潜在潜力。

Jul, 2024

我们通过对输入的敌对性评估了文献中的三个电路（IOI、大于、文档字符串），测量了它们与全模型输出之间的 KL 散度，并分析了表现最差的输入。结果表明，即使在原始任务的完全良性输入上，IOI 和文档字符串任务的电路也无法像全模型一样行为一致，这表明对于安全关键应用需要更强大的电路。

Jul, 2024

通过 Asparagus 软件，将机器学习 (ML) 技术与 ML 势能表面 (ML-PES) 的建模、训练、评价和应用相结合，以降低使用 ML-PES 模型的门槛，并提供最新的 ML 技术的用户友好接口。

Jul, 2024