Nov, 2023

JetLOV: 通过神经网络学习最优 LundNet 变量增强 Jet 树标记

PDF
TL;DR本研究通过神经网络的自主学习，不依赖预先计算的变量和底层物理知识，实现了在物理领域中的喷注标记性能的相当结果，从而有望解决模型依赖性问题。
发现论文，激发创造
  • 大型语言模型网络适应

    利用大型语言模型 (LLM) 的适应性，以提供更好的性能和更强的泛化能力，本文首次研究了将 LLM 应用于网络的可持续设计理念，通过 NetLLM 框架实现了高效的 LLM 适应网络问题，并展示了它在不同网络任务中的有效性。

    Feb, 2024

  • muNet: 将预训练的深度神经网络进化为可扩展的自动调整多任务系统

    采用预训练深度神经网络层作为基块构建多任务学习系统，通过动态选择相关的先验知识、模型参数和超参数进行自动调优，控制模型规模实现高质量模型与较小的规模之间的权衡，并在 10 个多样化的图像分类任务中，相对于标准调优，提高了平均精度 2.39％而使用了每个任务 47％ 以上的参数。

    May, 2022

  • 网络大型语言模型：工作流程、进展与挑战

    通过回顾现有工作，我们按类别介绍了应用语言模型于网络领域的突出成果，并详细解释它们在工作流程的不同阶段的操作方式。此外，我们深入探讨了遇到的挑战，讨论了潜在解决方案，并勾勒了未来的研究前景。我们希望这份调查能为研究人员和实践者提供洞见，推动该跨学科研究领域的发展。

    Apr, 2024

  • ComplexityNet：通过学习任务复杂度提高 LLM 推理效率

    我们提出了 ComplexityNet，这是一个精简的语言模型，专用于评估任务的复杂性。我们对 Python 问题进行了复杂性标签的创建，并且发现 ComplexityNet 在确定任务复杂性方面的准确率达到了 79％，相比于未经微调的原始模型的 34％准确率有显著提高。此外，与使用最高复杂性模型相比，ComplexityNet 有效地减少了 90％的计算资源使用，并且保持了 86.7％较高的代码生成准确性。该研究表明，在使用大型语言模型时，通过微调较小模型以基于任务复杂性进行分类可以在准确性和效率之间取得更平衡的权衡。我们的发现为优化 LLM 应用提供了有希望的方向，特别是在资源受限环境中。

    Dec, 2023

  • LLM 教育中的知识蒸馏

    本研究提出了一种方法，将大型语言模型（LLMs）的知识提炼为一个更小、更高效且准确的神经网络，以实现在资源受限设备上部署这些模型的挑战。我们的方法包括使用 LLM 的预测概率训练较小的学生模型，作为教师模型，通过专门设计的损失函数来学习 LLM 的输出概率，确保学生模型能够准确模仿教师模型的性能。通过对包括 6,684 个学生撰写的科学问题回答及其他数据集的测试，我们将性能与原始神经网络（NN）模型进行了比较，结果显示对于 7T 数据集，NN 模型和提炼的学生模型的准确率与教师模型相当；然而，其他数据集显示 NN 模型的准确率显著较低（平均 28%），然而我们的提炼模型仍然能够比 NN 模型获得更高 12% 的准确率。此外，学生模型的参数大小为 0.1M 至 0.02M，相较于原始输出模型大小减小了 100 倍和 10 倍。该研究的重要性在于其为自动评分在典型教育环境中的运用提供了潜力。

    Dec, 2023

  • 深度自然语言特征学习的可解释预测

    提出一种将主要复杂任务分解为一组较简单的中间子任务的通用方法，通过回答与最终目标任务相关的二进制问题来实现子任务的自然语言表示。利用一个小型 transformer 语言模型（如 BERT）根据从大型语言模型（LLM）获得的弱标签以自然语言推理（NLI）的方式进行训练生成自然语言学习特征（NLLF）向量。展示了利用 NLLF 向量可以增强任何分类器的性能，并且作为决策树等易于解释的机器学习模型的输入，能够获得较高的性能，有时超过预训练 transformer 模型。成功将该方法应用于两个完全不同的任务：检测学生对开放式数学考试问题的不一致性和筛选气候变化和农业生态学科学论文的摘要进行系统性文献综述。

    Nov, 2023

  • 大型语言模型与图神经网络相遇于知识蒸馏

    通过使用 LinguGKD 框架，将大型语言模型作为教师模型和图神经网络作为学生模型，通过设计的节点分类提示来调过教师 LLM 的 Hierarchically 学习到的节点特征和学生 GNN 在潜在空间的对齐，并采用层自适应对比学习策略，提高了学生 GNN 的预测准确性和收敛速度，同时提供了更快的推理速度和更少的计算和存储需求。

    Feb, 2024

  • 预训练大型语言模型的网络运维能力的实证研究

    通过系统评估选择的大型语言模型（LLMs）在网络运维（NetOps）领域的能力、优势和局限性，本研究发现只有 GPT-4 能够达到与人类通过网络运维认证考试的高精度等级。

    Sep, 2023

  • 深度学习用于可解释的自然语言处理

    利用原型学习方法和自然语言处理，我们提出了一种学习加权相似度度量的方法，增强了相似度计算，并提出了一个可提取预测相关单词的解释机制来改进预测性能和解释质量。

    Oct, 2023

  • 大型语言模型与光网络的融合：实现自动化的道路

    提出了一种以 GPT 为基础的光网络框架，通过部署在控制层的智能代理实现对物理层的智能控制和与应用层的高效交互。框架通过用户输入和精心制作的提示来从光网络专业领域的全面资源库中提取领域知识，并生成控制指令和结果表示，以实现在光网络的自主运行和维护。研究还详细描述了进行提示工程、建立领域知识库和执行复杂任务的方法，然后在网络告警分析和网络性能优化这两个典型任务上对所提出的框架进行了验证，2,400 个测试情境的响应准确率和语义相似性显示了 GPT 在光网络中巨大的潜力。

    May, 2024