modularity | BriefGPT - AI 论文速递

关键词modularity

搜索结果 - 71

我有一个关注桥要向您推销：模块化翻译架构的泛化能力
模块化是机器翻译的一种范例，具有在训练时模型变得庞大而在推断时变得小巧的潜力。在此研究领域中，模块化方法，尤其是注意力桥，被认为通过促进语言无关的表示来改善模型的泛化能力。本文研究了模块化对翻译质量的影响，以及模块化架构在不同评估场景下的泛
PDF2 months ago
使用基于代理的建模和仿真研究区块链系统
开发一个模拟框架软件，使用现代工程方法（如模块化，测试，持续开发和持续集成，自动化构建管理，依赖性和文档管理）和敏捷原则，以进行工业案例的快速原型设计和逼真的可行性分析（即通过模拟涉及大量参与者的复杂实验来测试假设，在一个或多个区块链系统中
PDF2 months ago
用无标度网络几何解释印度股票市场
本文使用机器学习技术将印度股市嵌入到一个双曲空间中进行分析，通过统计分析嵌入网络的双曲距离和双曲最短路径距离，我们能够清楚地区分市场的稳定期和波动期，并通过嵌入网络的模块性早期发现重要的市场变化，最后，这种嵌入能够有效地将市场各个部门进行聚
PDF3 months ago
CVPR在端到端和两步法文本定位之间建立桥梁
通过引入 Bridging Text Spotting 方法，本文解决了两步方法中存在的错误累积和次优性能问题，同时保留了模块化特性。通过将训练良好的检测器和识别器锁定参数，并通过初始化权重为零的神经网络连接它们，确保了检测中的大感受野特征
PDF3 months ago
COLING模块性是否可转移？通过知识蒸馏的案例研究
模块化深度学习在自然语言处理应用中展现了潜力，而参数高效微调（PEFT）模块化已经表明其适用于各种情况，从领域自适应到多语言设置。本文通过知识蒸馏的视角填补了现有模块化方法的一个重要空白，并提出了一种非常简单的方法，在同一家族的预训练语言模
PDF3 months ago
使用无监督度量优化图神经网络进行节点聚类的研究
图神经网络 (GNN) 可以通过从特征和连接信息的二元性中学习来训练以检测图中的社区。本研究展示了通过仅仅优化模块度，而不与基准进行比较，可以使用 GNN 将节点聚类到社区中。尽管模块度是一个图划分质量度量，我们证明了这一方法可以优化同时编
PDF5 months ago
HAMLET: 图转换神经算子用于偏微分方程
我们提出了一个新颖的图变换器框架 HAMLET，旨在解决使用神经网络求解偏微分方程的挑战。该框架使用具有模块化输入编码器的图变换器，直接将微分方程信息纳入解决过程中。这种模块化增强了参数对应控制，使 HAMLET 适用于任意几何和不同输入格
PDF5 months ago
发现组件化概括性的模块化解决方案
通过模块性和超网络的研究，我们证明了从有限数据中的元学习可以发现能够组合性地概括的模块化解决方案。
PDF6 months ago
针对复杂数据检索的语义解析：面向查询计划和无代码访问关系数据库的 SQL
利用 Query Plan Language (QPL) 和 Large Language Models (LLMs)，本文探讨了通过简化语法和模块化规范复杂查询来创建一个更易于学习和验证的查询语言，以便使非程序员能够更好地评估交互式查询计
PDF6 months ago
基于收缩论的强化学习稳定模块化控制
我们提出了一种新颖的方法，将控制技术与强化学习相结合，通过收缩理论实现神经控制的模块化，以确保稳定性。我们通过信号组合和动态分解实现这种模块化。信号组合通过创建潜在空间，其中强化学习应用于最大化奖励。动态分解通过坐标转换实现，创建辅助空间，
PDF8 months ago
适应性和模块化：高效泛化多样性任务
通过引入新的任务，我们调查了 transformers 在不同难度的问题上的泛化效应，并通过结果表明，标准 transformers 在解决这些任务时面临挑战。我们提出了基于适应性和模块化计算机制的 Hyper-UT 架构，它通过从超网络生
PDF9 months ago
深度学习中的模块化：综述
深度学习中的模块化原则及其应用领域的回顾和未来研究方向。
PDF9 months ago
SortedNet：为每个网络提供位置，为每个网络找到合适位置：面向广义解决方案的训练多对一神经网络
深度学习模型大小的增长导致在内存和计算约束下寻找最优模型变得更加重要，该论文提出了 SortedNet，一种利用深度神经网络的内在模块化性质实现高效动态推断的通用可扩展解决方案。我们的训练方法考虑了子模型的嵌套架构和共享参数，并以排序和概率
PDF10 months ago
FedYolo：使用预训练变换器增强联邦学习
本研究探讨了使用预训练转换器来实现设备上的联合学习目标，并深入研究了模型大小和模块化的作用，其中 Modularity 通过提示或适配器等模块实现适应性，Scale 能够减少通信次数。结果证明，使用单个通用模型可以解决多个不相关的任务，并且
PDFa year ago
基于预测编码和不确定性最小化的主动感知
运用预测编码和不确定性最小化两种生物启发式计算方式，提出了一种端到端的嵌入式探索过程，可用于解决任务无关的探索问题。在迷宫导航和积极视觉任务中，我们的模型均能够通过建立无监督表示，对感知场景进行主动采样、高效分类，学习效率更高、数据效率更高
PDFa year ago
一种高效的通用模块化视觉模型，通过多任务异构训练实现
我们提出了一种通用视觉模型，采用集成式的训练方式，使其可同时进行多任务，具有较强的泛化能力和模块化特性，并可在保证较小的训练参数、模型参数和计算量的同时，灵活地满足各种下游任务的需求，且适用于不断学习而无需遗忘的情境。
PDFa year ago
ModuleFormer: 从非系统化数据中学习模块化的大型语言模型
本文提出了一种基于 Sparse Mixture of Experts (SMoE) 的新型神经网络架构 ModuleFormer，该架构可以从未加工的数据中诱导出多样性，并通过提高效率、扩展性和专业化能力，对大型预训练语言模型进行改进。
PDFa year ago
自适应路由的专家软融合
本文提出了 Soft Merging of Experts with Adaptive Routing（SMEAR）算法，通过使用加权平均的单个合并专家，避免了离散路由，同时实现了标准梯度上升训练。 SEMENT 不仅不会增加计算成本，而且
PDFa year ago
ACL预训练 Transformer 中的紧密联系模块化
本文研究使用预训练的 Transformers 中是否存在模块化，发现神经元具有功能专业化，可以通过 Mixture-of-Experts 将分组神经元分配到对应功能模块中。在预训练阶段，模块化结构会更快地稳定，文献代码和数据可在链接中获得
PDFa year ago
微服务生命周期中的 AI 技术调查
本文介绍了如何使用人工智能技术来解决微服务架构在部署、协调和相互之间交互等方面遇到的挑战。
PDFa year ago