SimNets：卷积网络的推广
SimNets 是一种深度分层架构，在类卷积神经网络的基础上引入了相似函数与对数均值指数函数，从而实现了更强的表达能力和更广泛的特征空间，并且在计算资源受限的场景下具有显著的优势。
Jun, 2015
本文提出了三种多尺度相似性学习结构，使用对比损失函数学习像素级匹配，实现对场景几何形态的无关性。基于深度学习，通过学习与分配匹配像素对，建立了混合和端到端方法之间的平衡。同时，文章还探讨了如何通过样本挖掘提高预测相似度的整体稳健性和较好的性能表现，并在航空和卫星数据集上进行了实验，结果表明 DeepSim 网络优于混合方法和端到端方法，并且更好地适用于未见过的场景几何形态。该灵活的体系结构可以轻松地应用于标准的多分辨率图像匹配管道。
Apr, 2023
本文介绍了 MobileNets 这一基于深度可分离卷积的轻量级深度神经网络架构，提出了利用全局超参数在时延和准确性之间平衡的方法，并在图像分类等多个领域进行了广泛实验。
Apr, 2017
本文提出两类代理函数，用于卷积算子内积运算的通用化，第一种是正定核函数，第二种是基于距离函数定义的相似性测量。通过在 MNIST 数据集上的实验表明，基于加权 L1/L2 距离的广义 CNN 可以实现普通 CNN 的性能，证明了卷积神经网络通用化的可行性。
Jul, 2017
本文提出了一种新型深度神经网络结构，称为 “Network In Network”，以增强感受野内局部补丁的模型可辨别度。通过在感受野内构建微型神经网络，本文在多个数据集上展示了 NIN 在图像分类方面表现出卓越的性能与利用全局平均池化来代替传统全连接层解决过拟合问题的优越性。
Dec, 2013
本文介绍了基于人工智能的多物理学仿真框架 SimNet，该框架可以在没有训练数据的情况下处理不同的仿真问题，并且采用参数化系统表示，在一次求解中同时求解多个配置，采用高效的 GPU 计算优化网络架构，使用 FP32、FP64 和 TF32 运算进行可扩展的计算。该框架的功能强大，并可用于处理各种工业设计优化、逆向问题和难解正向多物理学仿真等问题。
Dec, 2020
本文提出了一种名为 CiC 的方法，通过在通道维度上应用不共享卷积，在空间维度上应用共享卷积，将密集的浅层多层感知机（MLP）替换为稀疏的浅层 MLP，实现了参数数量的大幅度减少，通过在 CIFAR10 数据集、增强的 CIFAR10 数据集和 CIFAR100 数据集上的实验结果证明了该方法的有效性。
Mar, 2016
本文提出了一种新的深度卷积神经网络结构，即使用聚合特征的 Shortcut 连接来改善网络优化难度，并取代传统的卷积神经网络结构，经过在公共基准数据集上的实验，发现其性能超过其他更大而复杂的卷积神经网络结构。
Nov, 2018
利用深度学习的进展，本研究提出了 Multiple-Input-Multiple-Output Neural Networks (MIMONets) 的概念，通过超定的计算来降低推理成本，并在动态参数范围内实现准确率与吞吐量的权衡。MIMONets 应用于 CNN 和 Transformer 架构，分别命名为 MIMOConv 和 MIMOFormer，并通过实证评估验证了它们的高速和准确性。
Dec, 2023