representation power | BriefGPT

关键词representation power

搜索结果 - 10

对偶 Lagrangian 学习用于锥优化
该研究论文介绍了双拉格朗日学习 (DLL) 方法，该方法将锥对偶理论与机器学习模型的表示能力相结合。DLL 利用锥对偶性提供对偶可行解，从而为参数线性和非线性锥优化问题提供有效的拉格朗日对偶界限。该论文介绍了可微锥投影层、系统性的对偶完成过
PDF5 months ago
Agent Attention: 关于 Softmax 和线性注意力的整合
此研究提出了一种新的注意力范式，即 Agent Attention，以在计算效率和表示能力之间取得有利的平衡，该方法通过引入额外的代理标记来实现高效的全局上下文模型建模，同时保留了强大的 Softmax attention 和高效的线性 a
PDF7 months ago
RepSGG: 场景图生成中的实体和关系的新表示方式
提出了一种名为 RepSGG 的新型架构，将场景图生成（Scene Graph Generation）中的实体表示为查询，目标表示为键，并将它们之间的关系表示为查询和键之间的最大注意力权重，从而在提取高度代表性的特征方面具有更细粒度和灵活的
PDF10 months ago
KernelWarehouse：面向参数高效动态卷积
通过重新定义动态卷积中的基本概念，并采用策略性的卷积核分割和仓库共享，提出了一种更高效的动态卷积方法 KernelWarehouse，实现了参数效率和表征能力的有利平衡，并通过在 ImageNet 和 MS-COCO 数据集上的实验证实了其
PDFa year ago
ICCVProtoFL: 基于原型蒸馏的无监督联合学习
我们提出了 'ProtoFL'，基于原型表示蒸馏的无监督联邦学习，以增强全局模型的表示能力并降低往返通信成本，同时引入基于归一化流的本地一类分类器以改善有限数据的性能。我们在 MNIST、CIFAR-10、CIFAR-100、ImageNe
PDFa year ago
ACL多语言 BERT 嵌入空间中的各向同性分析
研究探讨如何解决多语种 BERT 模型在语言表示中的异构性以及异常维度，以提高其表现力和性能，并发现各种语言的嵌入空间在结构上部分类似。
PDF3 years ago
块状张量神经网络
本文提出了一种名为 BT-layers 的新的神经网络结构，使用低秩分块张量来近似权重矩阵，能够大幅缩小 DNN 的参数数量，同时保持或提高其表征能力。
PDF4 years ago
一类归一化流模型的表达能力
本文研究了基本的正则化流，并在其表达能力上严格地建立了界限。研究结果表明，尽管这些流在一个维度上具有高度表达能力，在更高的维度下，特别是在流具有适度深度时，它们的表达能力可能受到限制。
PDF4 years ago
深度网络中的理论问题：逼近、优化和泛化
简述：对深度学习的理论研究逐渐深入，从表示能力到优化、从梯度下降的泛化性质到固有隐藏复杂性的到达方式，已经有了一些解释；通过在分类任务中使用经典的均匀收敛结果，我们证明了在每个层的权重矩阵上施加单位范数约束下最小化替代指数型损失函数的有效性
PDF5 years ago
图形扭曲模块：分子图分析中增强图神经网络能力的辅助模块
本文提出了一种辅助 GNN 的框架，可用于各种生物化学应用中，显著提高了 GNN 性能和表示能力，达到了流行分子图数据集的最先进性能。
PDF5 years ago