gating network | BriefGPT - AI 论文速递

关键词gating network

搜索结果 - 8

连续学习中的专家混合理论
混合专家（MoE）模型通过利用门控网络在多个专家之间稀疏和分配不同任务，从而有效缓解了连续学习中的灾难性遗忘问题。本文通过对过参数化线性回归任务进行理论分析，得出了 MoE 模型相对于单个专家的优势，并提供了 MoE 模型在学习性能中的影响
PDF12 days ago
Mask2Former 风格模型的高效 Transformer 编码器
基于视觉 Transformer 的模型在图像分割任务上取得了显著的改进。然而，这些架构对计算资源的使用可能对部署设备造成负担。为了克服这一挑战，我们引入了 ECO-M2F，即 EffiCient TransfOrmer Encoders
PDF2 months ago
融合不同任务和领域的视觉 Transformer
该研究旨在将训练在不同任务或领域的多个 Vision Transformers (ViTs) 合并成一个统一的模型，以保持每个任务或领域的良好性能，通过提出一种简单而有效的门控网络和模型权重相似性度量方法实现整体 ViT 模型的合并和性能提
PDF6 months ago
CSPM：一种用于即时食品配送服务中 CTR 预测的对比时空偏好模型
该论文介绍了基于对比学习的对应搜索状态下的对比时空表示学习（CSRL），对应的选址偏好提取器（StPE）和对触发重要特征的时空信息过滤器（StIF）三个模块，通过在多个大规模工业数据集进行的实验证明了 CSPM 的最新性能，CSPM 已成功
PDFa year ago
FAN: 电子商务推荐中基于疲劳感知的点击率预测网络
本文提出了一种新的 CTR 模型 —— 疲劳感知网络 (Fatigue-Aware Network，FAN)，可以直接从用户的非点击行为中感知疲劳。通过将离散傅里叶变换应用于非点击生成的时间序列，获取用户疲劳的全面信息，进而结合目标项的类别
PDFa year ago
功能性专家混合分类
本研究提出了一种基于混合专家 (mixtures-of-experts) 的方法，用于解决具有单变量函数预测器的多类别分类问题，其中门控网络和专家网络都是基于具有函数输入的多项式逻辑激活函数构建的。我们进行正则化最大似然估计，并对目标导数附
PDF2 years ago
轻量级自适应神经网络与 N-gram 语言模型混合
本文介绍了一种通过小型神经网络来预测混合模型权重的方法，以提高神经语言模型和 n 元语法模型的性能。实验结果表明，该方法能显著提高 One Billion Word benchmark 上的性能。
PDF6 years ago
深层专家混合模型中的因子表示学习
本文扩展了专家集成模型，提出了深度专家集成模型，该模型利用多组门和专家实现了输入空间的多重化，同时保持了小型化规模，在 MNIST 数据集和语音单音素数据集上的实验结果表明，该模型能够自动发现局部化的位置相关专家和类别相关专家，并有效地使用
PDF11 years ago