Aug, 2023

高性能研究网络数据传输性能的探究

PDF
TL;DR构建用于满足数据密集型分布式工作流需求的高速研究网络，但是由于多种原因，包括 I/O 和网络干扰、服务器配置错误和网络异常，这些网络中的数据传输经常无法达到承诺的传输速率。本文提出了一个可扩展的端到端监测框架，用于收集和存储文件传输的关键性能指标，以明确传输性能。评估结果表明，该提议的框架可以监测每个主机多达 400 个传输和总共超过 40,000 个传输，同时以一秒的精度收集性能统计数据。我们还引入了一种启发式方法，能够自动处理收集到的性能指标，并以 87-98% 的 F-score 识别性能异常的根本原因。
high-speed research networksdata transfersperformance issuesmonitoring frameworkperformance metrics
发现论文，激发创造
  • 网络架构与复杂度关系的实证研究

    本文探讨了网络处理数据复杂性变化的实证研究，以图像分类任务为例，测量了不同网络体系结构对不断增加的类别数目所产生的泛化误差变化情况。

    Nov, 2019

  • 质量进出：评估异常检测基准数据的质量

    本文通过对一个用于异常检测的基于流量的真实数据集进行修改，发现相对较小的修改对模型性能的影响，强调了数据质量评估和优化技术对于自主网络的重要性。

    May, 2023

  • 评估基于机器学习的异常检测在不同数据完整性的数据集上的表现：案例研究

    网络安全在数字时代仍然是一个重要的挑战，网络流量异常检测是对抗网络威胁的关键手段之一。本研究解决了网络流量数据集中数据完整性的普遍问题，并引入了两个经过改进的数据集，通过采用 NFStream 进行了方法论检查和标记。我们通过对比原始 CICIDS-2017 数据集、改进后的 WTMC-2021 和 CRiSIS-2022 数据集以及我们基于 NFStream 生成的数据集在二元和多类别分类环境下，Random Forest 算法的表现。我们观察到，无论底层数据集的质量如何，RF 模型表现出卓越的鲁棒性，达到了稳定的高性能指标，这引起了关于数据完整性对机器学习效果的实际影响的重要讨论。我们的研究强调了持续改进和方法论严谨在网络安全研究中数据集生成的重要性。随着网络威胁的演变，侦测和分析威胁的工具和技术也必须随之演进。

    Jan, 2024

  • 一种轻量级和无监督的方法，用于使用运营数据测量进行近实时行为分析

    该研究提出了一种轻量级、无监督的方法，通过对大型计算系统的操作数据进行测量，实时检测异常行为并能够在较短的时间内做出适当反应。

    Jan, 2024

  • 使用大规模遥测数据的系统故障检测集成方法

    通过对系统遥测数据的深入分析，该研究论文提出了一种集成方法来检测系统故障，并结合了长短期记忆网络、隔离森林、单类支持向量机和局部异常因子等多种机器学习技术，有效识别系统故障，从而提升了计算环境中用户体验和系统可靠性。

    Jun, 2024

  • 物联网入侵检测的高效网络流量特征集

    评估了使用不同的特征选择方法（信息增益、卡方检验、递归特征消除、平均绝对偏差和离散比）提供的特征集在多个 IoT 网络数据集中的影响，以提高计算机效率。结果显示在保持良好泛化能力的同时，提高了机器学习模型的计算效率，对于每个数据集识别出了最具影响力的特征，并且特征集之间几乎没有差异。

    Jun, 2024

  • 利用高维度的物理 - 数字数据流来诊断智能电网故障

    探讨了特征工程对于解决物理系统数据诊断过程中存在的数据质量，噪声干扰，决策模型不精确等挑战的影响作用；论文使用特征筛选、降维和决策模型等方法，在 118 个节点的电力系统上进行了数据驱动的故障诊断，同时比较了多种高级技术在该领域的应用。实验结果表明，特征筛选和降维方法的联合应用可以有效提高数据质量，提高物理系统的诊断准确性。

    Mar, 2023

  • 学术漫游者：协作网络结构与研究绩效的关系

    本研究利用人类学中的认知模型对科学家之间的个人合作网络（即从每个研究人员的角度考虑的网络）进行表征，研究了学术合作、学术表现和学术流动在不同职业阶段的相互影响。研究发现，合著网络的结构与学术表现指数之间存在明显的相关性，但高绩效与大型合作网络的相关性存在容量限制效应。

    May, 2021

  • 基于深度学习的物联网网络流量分析

    使用深度学习算法和无监督学习技术来监测和检测 IoT 网络中的异常，并在 KDD Cup 99 数据集上实施了一个模型，实验结果展示了异常检测模型的出色性能，达到了超过 98% 的准确率。

    Feb, 2024

  • 物联网作为深度神经网络

    本文研究了如何通过深度神经网络的测量压缩和推理，实现 IoT 数据通信的有效率，并在实验中取得了 96% 的数据传输量节省和 2.5% 推理准确度下降的成果。

    Mar, 2020