Sep, 2023

特征模仿的广泛影响：在金融、语音和生理领域的神经增强

PDF
TL;DR神经网络权重的初始化在决定其性能方面起着关键作用。特征模仿网络（FINs）通过将权重初始化为逼近特定的闭式统计特征，为深度学习架构奠定了有希望的基础。本研究将 FINs 的适用性扩展到其他时间序列数据集，并在比特币价格预测、语音情感识别和慢性颈痛检测三个实验中测试了模仿 Tsallis 熵以提高性能的适用性。研究结果表明，在比特币价格预测中，嵌入 FINs 的模型相比基线模型的均方根误差减少了约 1000。在语音情感识别任务中，FIN 增强模型的分类准确率提高了 3% 以上。最后，在慢性颈痛检测实验中，与已有分类器相比，观察到约 7% 的改进。这些发现验证了 FINs 在不同应用领域的广泛实用性和潜力。
initializationneural network weightsfeature imitating networkstsallis entropyperformance enhancement
发现论文，激发创造
  • 特征模仿网络在生物医学图像处理任务中提高了深度学习的性能、可靠性和速度

    本文首次评估了具有近似闭式统计特征的权重的仿真网络（FIN）在生物医学图像处理任务中的性能表现，结果表明 FIN 在 COVID-19 检测、脑肿瘤分类和分割等任务中均具有最佳的绩效。

    Jun, 2023

  • 深度神经网络的高效在线处理

    本论文致力于提高神经网络的效率，提出了连续推理网络（CIN），它通过自下而上的计算重新组织和适度的架构修改来改善其在线处理效率，并采用 CIN 重构了几种广泛使用的网络架构，包括 3D CNN，ST-GCN 和 Transformer Encoders。另外，通过使用熔接适配器网络和结构修剪，本论文还达到了在使用较少的学习权重的情况下实现卓越的预测准确性的目的。

    Jun, 2023

  • 基于长序列行为的新型时空建模方法：碎片化与整合网络 (FIN) 用于在线订餐点击率预测

    基于时空信息的在线位置服务对于点击率预测任务具有重要意义，尤其是在主流的美团、饿了么等在线订餐平台中。本文通过设计一种名为 “Fragment and Integrate Network（FIN）” 的新型时空建模范式，解决了现有方法在表示丰富的时空信息和处理有限长度用户行为方面的问题。通过对公共数据集和生产数据集进行实证分析，验证了 FIN 的准确性和可扩展性。自 2022 年以来，FIN 已在中国最受欢迎的在线订餐平台之一 “饿了么” 的推荐广告系统中全面部署，并在点击率（CTR）上获得了 5.7% 的改进和每千次展示收入（RPM）上的 7.3% 增加。

    Aug, 2023

  • 提高神经网络在风力发电预测中的准确性和可解释性

    提出了简单而有效的三重优化策略（TriOpts）来加快训练过程和改善深度神经网络（DNNs）在风力发电预测中的模型性能，并且创新性地提出了排列特征重要性（PFI）和局部可解释的模型不可知解释（LIME）技术来解释 DNN 的预测行为。模拟结果表明，所提出的 TriOpts 不仅大大提高了 DNNs 在确定性和概率性风力发电预测中的模型泛化能力，还加快了训练过程。此外，所提出的 PFI 和 LIME 技术可以准确估计每个特征对风力发电预测的贡献，有助于构建特征工程并理解如何获得给定样本的预测值。

    Dec, 2023

  • 从回归到物理启发式神经网络的多尺度偏微分方程求解的傅里叶特征网络中的特征向量偏差

    本研究采用神经切向核理论观察了物理知识指导神经网络的局限性，并通过构建新的体系结构使用时空和多尺度随机傅里叶特征，成功解决了波传播、反应扩散动力学等多尺度问题。

    Dec, 2020

  • 深度网络实现数据特征

    本文研究深度神经网络在实现数据特征方面的优势，发现相比浅层神经网络，深度神经网络能够在不需要额外容量开销的情况下，提高实现某些复杂特征的性能，但在实现一些简单特征方面，深度神经网络的逼近率与浅层神经网络的相同，呈对数级别，在固定深度的情况下，存在一定的局限性。

    Jan, 2019

  • 固定积分神经网络

    本研究提出了一种表示学习函数的解析积分的方法，可用于精确计算神经网络的积分并应用于约束神经网络的参数化，同时引入了一种约束函数为正的方法，并介绍了固定积分神经网络（FINN）的多种应用。

    Jul, 2023

  • FiBiNET：结合特征重要性和双线性特征交互预测点击率

    本文提出了 FiBiNET 模型，通过 Squeeze-Excitation 网络机制学习特征重要性，通过双线性函数有效地学习特征交互，结果显示该模型在真实数据集上的性能优于其他浅层模型和深度模型。

    May, 2019

  • 利用物理感知神经网络组合偏微分方程

    本文提出一种组合物理感知有限体积神经网络（FINN），用于学习时空对流扩散过程，可在模拟偏微分方程（PDE）的同时融合人工神经网络的学习能力和数值模拟的物理和结构知识，实验结果表明 FINN 具有卓越的建模准确性、良好的超出分布泛化能力，并且仅需平均十分之一的参数数量就可以在各类情况下优于纯机器学习和其他最先进的物理感知模型。

    Nov, 2021

  • 用术语扩展和 FinBERT 微调对金融术语的上下位词和同义词排序

    本文介绍了解决金融领域中上下位词和同义词匹配问题的系统，使用了各种基于 transformer 的预训练嵌入方法，并从不同数据源对所提供的数据集进行增强，其中表现最佳的模型结合了 FinBERT 和数据增强的方法，最终准确率达到 0.917，排名第 1.156。

    Jul, 2021