- 网络中输入分布和线性区域之间相互作用的演变
对于基于 ReLU 的深度神经网络，我们通过计算线性凸区域的数量，证明了任何一维输入都需要至少一定数量的神经元来表达。我们还发现对于相同的网络，复杂的输入会限制其表达线性区域的能力。此外，我们揭示了 ReLU 网络在训练过程中决策边界的迭代 - ICCV通过平衡训练难度和模型能力来进行领域泛化
通过 MoDify 框架中的动量难度方法和数据增强以及网络优化技术，实现了领域泛化的性能提升和训练样本与模型能力之间的平衡，该方法在多个基准测试中表现出优异的性能。
- 利用三重指数移动平均法进行快速自适应动量估计
本文提出了一种名为 FAME 的深度优化器，利用 Triple Exponential Moving Average 作为估算梯度矩的方法，相比于现有的优化方法，可以更准确和快速地识别梯度趋势，从而在多个领域中提高了性能表现。
- 我们可以通过难样本学得更好吗？
本研究提出一种新型的深度学习算法，该算法利用高误差 mini-batch 学习聚焦于欠表示的样本和复杂模式，并在多个公认数据集上测试，表明其相对于传统 mini-batch 训练方法能够显著提高测试准确性和加速收敛。
- CVPR通过匹配训练轨迹进行数据集蒸馏
本研究提供了一种新的算法，使用合成数据集优化网络，可以快速、高效地将神经网络训练到与真实数据相似的状态，从而实现数据集精简化处理，并能够处理高分辨率视觉数据。
- 通信网络中的图神经网络：背景、应用案例和机遇
GNN 可以作为一种新一代的数据驱动模型应用于通信网络的建模、控制和管理中，其优势在于可以应用于训练过程中未看到的其他网络和配置，以实现网络优化等诸多应用。
- AIM 2020 高效超分辨率挑战：方法与结果
本文回顾了 AIM 2020 挑战赛中关于高效单图像超分辨率的提出的解决方案和结果，挑战任务是基于一组低分辨率图像和相应的高分辨率图像的先前实例对输入图像进行 4 倍放大的超分辨率，目标是确保至少保持 MSRResNet 的 PSNR 的同 - ICML宽 - 窄：高效训练深瘦网络
本研究提出了一种基于模型压缩和神经平均场分析的新型深度学习网络优化方法，并通过大量实验证明其优于传统的反向传播方法，可使经过我们的优化方法训练后的 ResNet50 在性能上超越 ResNet101，而 BERT Base 则可以与 BER - 基于理论的路径正则化差分网络结构搜索
通过对 DARTS 进行理论分析，我们证明了带有更多跳跃连接的体系结构可以比其他候选体系结构更快地收敛，从而被 DARTS 选中。基于这个结果，我们提出了一种理论启发式的路径正则化 DARTS（path-regularized DARTS） - ICML多任务学习的分支学习
本论文提出了一种自动的多任务学习算法，通过提出一种树形结构设计空间和将树形分支操作作为 Gumbel-Softmax 采样过程，实现了可微网络分裂与优化，实现了多任务网络的有效设计。
- 知识蒸馏方法规避 AutoAugment 的异常值
本文通过研究 AutoAugment 算法的工作机制发现其依赖于数据标签的问题，并采用知识蒸馏的方法来改进网络优化，实验结果表明我们的方法可以有效抑制数据扰动并提高准确率。
- 半监督跨摄像机软标签学习的渐进式人员重识别
该研究提出了一种新的渐近式跨摄像头软标签学习方法用于半监督人物重识别任务，该方法能够生成跨摄像头软标签和利用它们优化网络。在五个大规模基准数据集上进行的广泛实验表明，该方法明显优于使用标记源域或 GAN 模型生成的图像的最新无监督方法，并且 - CVPR基于级联语义引导的多通道关注选择生成对抗网络用于跨视角图像翻译
本文提出了一种名为多通道注意力 SelectionGAN 的新方法，该方法可以基于场景图像和新颖的语义地图生成任意视点中自然场景图像，并通过注意力机制和像素损失优化，经过 Dayton，CVUSA 和 Ego2Top 数据集的实验验证，该方 - AAAI可解释深度卷积网络的通用逻辑运算符
研究神经网络的通用逻辑运算符问题，深度卷积网络的逻辑解释和不同逻辑运算符选择对于网络优化的影响。
- 使用 PCA 的低投入结构化 CNN 设计方法
该研究论文提出了一种基于 PCA 的单次分析方式，可在不进行迭代重新训练的情况下，优化计算机视觉中的深度学习模型，包括 AlexNet，VGG 和 MobileNet，减少计算操作次数和参数数量。
- CGNet：一种用于语义分割的轻量级上下文引导网络
本文提出一种轻量、高效的语义分割网路 —— 受上下文引导的网路（CGNet），其基于 CG 块学习局部特征和周围上下文的联合特征，并通过全局上下文进一步改善。CGNet 在所有网络阶段捕获上下文信息，特别地为了提高分割准确度而设计，并精心设 - ECCV面向目标的网络适应性调整，用于高效表征学习
本论文提出了一种自动网络适应方法，该方法通过迭代的滤波剪枝和网络优化，从 ImageNet 预训练的网络中去除目标任务的潜在冗余，实现紧凑、高效、适应目标任务的网络结构，并在五个实验数据集上表现出了优异的精度和计算效率。
- CVPR姿态感知的人员识别
本研究提出多个模型联合训练并在测试中使用姿势感知权重的方法解决全身人物识别中的姿态变化问题。同时，使用网络对多个身体区域进行联合优化，为解决不同场景下的人物识别问题提出了新的基准测试，并证明了该方法在 PIPA 数据集中取得的高准确率。
- 马尔可夫决策过程中计算状态相似性的方法
本文运用网络优化和统计抽样技术，克服了计算 Kantorovich 度量在实践中的成本问题，提出了一系列用于 MDP 状态聚合的距离函数，这些函数在时间和空间复杂度以及聚合质量之间存在不同的权衡，并对这些权衡进行了实证评估。