- 4D ASR: 联合波束搜索综合 CTC、注意力、转导和掩码预测解码器
我们提出了一种联合建模方案，通过多任务学习和三种新的单通道波束搜索算法，我们训练出的 4D 模型在端到端自动语音识别上取得了更好的性能，并超过了使用单个解码器的模型。
- 激活瓶颈：Sigmoid 神经网络无法预测一条直线
神经网络激活瓶颈 波动图像 无限序列 网络体系结构简化
- ICML可微分模型缩放的可微分 Topk
基于可微模型缩放的神经架构搜索方法能够提高搜索网络的效率并找到改进的结构，在不同任务和不同网络架构下具有一致的结果并超越了现有的神经架构搜索方法。
- 稳定 MoFusion：面向稳健高效的基于扩散的运动生成框架
通过对网络架构、训练策略和推理过程的深入分析，我们根据研究结果为高质量的人体运动生成定制了每个组件，最终提出了稳定的人体运动生成框架 StableMoFusion，并通过大量实验证明其在与当前最先进方法的比较中表现出色。
- 基于深度学习的多模态医学图像分类信息融合技术综述
多模医学成像在临床诊断和研究中起着关键作用，深度学习多模态融合技术在提高医学图像分类方面显示出强大的工具。本综述对基于深度学习的医学分类任务中的多模态融合的发展进行了彻底分析，包括不同融合方案和网络架构的性能评估，讨论了相关挑战和未来研究方 - 表格式学习：实体和上下文嵌入的编码
通过检查不同的编码技术对实体和上下文嵌入的影响，本研究的目标是挑战常用的顺序编码在表格学习中的应用。通过应用不同的预处理方法和网络架构在几个数据集上，得出了编码器对网络学习结果的影响的基准。通过保持测试、验证和训练数据的一致性，结果表明顺序 - 梯度相关子空间学习对抗灾难性遗忘
通过引入梯度相关子空间学习（GCSL）技术，本文介绍了一种减少增量类学习中灾难性遗忘的新方法，该方法检测受以前任务影响最小的权重的子空间，并将权重投影到该子空间进行新任务的训练，可适用于给定网络架构的一个或多个层，而且该子空间的大小可以在不 - 深度神经网络激活区域的精确枚举并行算法
使用整流线性单元的前馈神经网络通过将其输入空间分为一组凸区域来构建从输入到输出的映射。本文提出了深度（和浅层）神经网络中确切枚举的并行算法，并演示了区域数量对运行时间的影响以及区域的仿射变换维度如何影响更深层次的划分。
- 层次化生成预训练变压器用于时间序列预测
提出了一种名为 GPHT 的新型生成预训练分层变压器架构，通过引入高级网络结构和自监督预训练策略来提高时间序列预测的准确性，并在充足的实验验证中证明其超越了传统预训练模型和监督模型，在传统长期预测任务中取得了良好的效果。
- ICLR基于 Wasserstein 自编码器的低维本质数据的统计分析
研究论文通过适当选择网络结构，展示了 WAEs 能够学习数据分布，并且其收敛速度与特征维度无关，只依赖于数据分布的内在维度。
- ECCV自监督半监督学习与图像上色的 Color-$S^{4} L$
本研究采用了多种有效的自监督先行任务，探索了一种新颖的自监督半监督学习框架（Color-$S^{4} L$），在图像着色代理任务中深入评估了各种网络架构的性能，并与之前的监督和半监督最优方法在 CIFAR-10 数据集上进行了有效性和最优性 - TEN-GUARD: 张量分解用于深度神经网络中的后门攻击检测
这篇论文介绍了一种新的后门检测方法，它使用了两种张量分解方法应用于网络激活，相对于现有的检测方法具有多种优势，包括能够同时分析多个模型，适用于各种网络架构，对于改变网络行为的触发器不做任何假设，并且计算效率高。在 MNIST 手写数字数据集 - 超网络的优化器、初始化器和架构对示教式连续学习的影响
对于连续学习从示范中（CLfD）的研究，本文通过一项探索性研究评估了不同优化器、初始化方法和网络架构对于 CLfD 中超网络学习性能的影响。结果表明，自适应学习率优化器效果很好，但针对超网络设计的初始化方法对于 CLfD 没有优势。同时，我 - 在野外使用平衡数据集进行的深度面部表情识别基准测试
基于大规模 FER 数据集的广泛实验和实践交叉验证，本文对多种网络架构进行排名，并给出了在真实情景中应用深度 FER 方法的一些推荐。此外，还讨论了实际 FER 应用中的潜在道德规范，隐私问题和法规。
- ADGym: 深度异常检测的设计选择
该论文介绍了 ADGym，这是一个专为深度方法中的异常检测设计元素进行全面评估和自动选择而设计的平台。通过广泛的实验，表明仅仅采用现有的先进方法并不理想，使用 ADGym 构建的模型显著超越目前最先进的技术。
- 高效的后训练量化与 FP8 格式
最近在深度学习方法中，如 LLMs 和 Diffusion 模型的最新进展已经带来了对改进量化方法的需求，以满足这些现代架构的计算需求，并保持精确性。为了实现这一目标，我们研究了在 75 种不同的网络架构中跨越各种任务（包括机器翻译、语言建 - 降低数据集蒸馏中的架构过拟合
通过提出一系列的方法，本文解决了基于特定网络结构训练的合成训练数据在其他网络结构中训练时性能变差的问题，从而提高了在不同网络结构上通过合成训练数据的泛化性能。通过广泛的实验证明了我们的方法的有效性和通用性。
- 医学图像配准中的深度学习调查：新技术、不确定性、评估指标及未来发展
过去十年来，深度学习技术在医学图像配准领域取得了很大进展。本文对深度学习技术在图像配准中的最新进展进行了综合概述，包括网络结构、损失函数、注册不确定性估计方法和评估指标等方面，并探讨了这些新技术在医学影像中的实际应用和未来前景。
- CVPR异质性持续学习
本文提出了一个新的解决方案，Heterogeneous Continual Learning (HCL)，它使用知识蒸馏技术和 Quick Deep Inversion (QDI) 方法来实现对不断变化的网络架构的持续学习。在各种基准测试中 - 深度学习用于时间序列分类和外源回归的现状调查
本文评述了深度学习在时序数据分类和外在回归中的最新技术，讨论了应用深度学习于时间序列数据所面临的挑战和机会，并总结了人体活动识别和卫星观测等两个关键领域的应用。