- Transformed CNNs: 用自注意力机制重塑预训练卷积层
本文研究在 Vision Transformers 与卷积神经网络之间构建混合模型时的计算瓶颈问题,探索采用卷积层进行初始化以达到更快的训练速度,得到的 Transformed CNN (T-CNN) 相比 CNN 在 ImageNet-1 - MMBreiman 的两种文化:无需选边站
该论文提出数据分析涉及数据建模和算法建模两种文化之间的选择,而机械模型则提供了一种有效的解决方案,可以生产灵活、可解释、科学的混合模型,以获得准确和稳健的预测,并且可以解决数据分析中的一些挑战。
- ICLR高效广义球形卷积神经网络
提出了一种广义的球形卷积神经网络框架,其中包括了各种现有方法,并允许它们同时被利用。通过开发两个新的严格相等层,其复杂度已经被降至可行水平,使球形 CNNs 的更大、更具表现力模型能够被计算出来。通过这些发展,展示了对于球形基准问题,能够构 - EMNLP有序神经元自注意力模型中层次结构建模的改进
研究表明自注意网络和循环神经网络的混合模型表现优于单个模型,该论文提出用 Ordered Neurons LSTM 增强混合模型,以更好地建模层次结构,并在机器翻译任务,基于目标语言的评估和逻辑推理任务上的实验证明该方法的优越性。
- 基于潜在代码和文本的生成对抗网络用于软文本生成
介绍了一种新型的基于文本的生成对抗网络 Soft-GAN,并提出了将自编码器用于提供连续句子表示的方法,称为 soft-text。同时还提出了混合潜在编码和文本的 GAN 方法并在两个著名数据集上进行了验证实验,结果显示这些方法优于传统的基 - ICLR结构化神经网络摘要
通过将序列编码器与图形成分扩展,我们开发了一个框架,旨在处理文本等弱结构化数据中的长距离关系,从而实现对序列的概括。在广泛的评估中,我们展示了这种混合模型的优越性。
- 研究人类与机器的互补性用于累犯预测
本研究通过对机器预测结果与多个 Turk 工人预测结果的比较,探讨了人机混合模型在预测再犯罪风险时的优劣势,旨在更好地利用人工智能和人工智能之间的互补优势,以更公平、准确地进行风险评估。
- KDD辅助导向自回归变分自动编码器
本文提出了一种训练程序,它基于辅助损失函数来控制潜变量所捕获的信息以及留给自回归解码器的信息,该方法可以实现任意强大的自回归解码器,达到具有潜变量的模型中最先进的定量性能,并生成定性令人信服的样本。
- R2N2:残差循环神经网络用于多元时间序列预测
提出了一种名为 R2N2(残余 RNN)的混合模型,通过简单的线性模型(如 VAR)对时间序列进行建模,并使用 RNN 对其残余误差进行建模,在航空领域和气候领域中的实证评估表明,与单独使用 VAR 或 RNN 相比,R2N2 具有竞争力且 - 多方对话中神经说话人建模:任务、数据集和模型
本文主要探讨了基于神经网络的对话系统中说话者建模的重要性问题,提出将说话者分类作为通用说话者建模的代理任务,并收集大量数据以支持这个方向的研究,进一步研究了基于时间和基于内容的说话者模型,并提出了几种混合模型。实验结果表明,说话者分类是可行 - EMNLP基于计数和神经模型的泛化和混合语言模型
本研究通过定义词汇表上的一组概率分布,动态地计算这些分布上的混合权重,演示如何将基于计数的 n-gram 模型与神经 LM 结合在单个模型框架中,从而创建新颖的混合模型,并证明这些方法的优势。
- 决策森林、卷积神经网络和中间模型
通过融合决策森林和卷积神经网络,提出了一种新的、具有条件计算和表示学习的混合模型 —— 条件网络,并在图像分类任务上对其进行了实验验证,结果表明它的计算成本和参数数量比现有卷积神经网络降低了很多,但准确率并没有下降。
- 抬升的关系变分推断
本文提出了一种高效的关系变分推断算法,用于将大规模概率混合物模型转化成简单的变分模型,以提高推理效率,并通过使用隐变量消去或抽样方式计算变分模型上的边缘概率。
- 用连续和离散变量解决因式化马尔可夫决策过程
我们提出了一个框架来处理离散和连续变量的混合模型的随机规划问题,使用混合马尔可夫决策过程的方法,通过线性规划近似来解决这些问题,并遵循混合动态贝叶斯网络的表示形式,已在一系列控制问题中进行了实验。