本文综述了动态神经网络在深度学习领域的最新研究进展和主要研究方向,分析了其在计算效率和适应性等方面的优势,总结了架构设计、决策方案、优化技术和应用开发等方面的研究问题以及未来发展的方向。
Feb, 2021
该论文通过对 NLP 的演变及其应用的准确性和效率的评论,以及提出和硬件考虑下对基于 transformer 模型的效率进行改进的研究贡献的调查,旨在确定当前 NLP 技术对可持续社会的贡献,并为未来研究奠定基础。
May, 2024
本文介绍了使用预训练和微调、提示或文本生成方法解决 NLP 任务的大型预训练基于 transformer 的语言模型,以及使用预训练语言模型生成数据进行训练或其他目的的方法,并讨论未来研究的限制和建议方向。
Nov, 2021
使用基于 Transformer 的神经网络来学习复杂的非线性动态系统,并为其赋予保持结构的特性以提高长期稳定性的工作,在实际应用中被证明非常重要。
Dec, 2023
本研究旨在通过研究 Transformers 当前的设备执行状态,构建代表性模型基准,并彻底评估它们在具有不同计算能力的移动设备上的性能,实验结果表明 Transformers 不利于加速器,并指出需要软件和硬件优化才能实现高效部署。
Jun, 2023
本次调查主要介绍自然语言处理领域中最近迁移学习的发展和不同的迁移学习方法分类的分类学。
May, 2020
本文调查了低资源自然语言处理的相关方法,其中包括数据增强、遥感监视和迁移学习等技术以帮助在需要训练数据较少的情况下提高神经模型的性能,并通过说明这些方法的差异帮助选择适合特定低资源设置的技术。
Oct, 2020
介绍了一种动态记忆网络 (DMN) 神经网络架构,它处理输入序列和问题,形成情节性记忆,并生成相关答案,用已训练的词向量表示和输入 - 问题 - 答案三元组训练,能在自然语言处理中取得最先进的结果。
Jun, 2015
图神经网络已成为从图结构数据中有效挖掘和学习的强大工具,但大多数研究侧重于静态图,忽视了真实世界网络的动态特性,该论文提供了对基本概念、关键技术和最新动态图神经网络模型的全面综述。
Apr, 2024
通过动态分配计算资源来加速推理,我们的动态神经生成网络在问题回答、摘要和分类基准测试中表现出少量的计算成本,同时保持相同的准确性。