- S-HR-VQVAE: 序列层次残差学习向量量化变分自编码器用于视频预测
提出了一种名为 S-HR-VQVAE 的新模型,将层次化残差量化变分自编码器(HR-VQVAE)与新型时空 PixelCNN(ST-PixelCNN)相结合,具有更好处理视频预测任务的能力,并通过提出先进的训练方法,平衡整个模型参数的学习。
- ACL通过未知感知训练实现开放集合关系抽取
本文提出了一种未知关系感知培训方法,通过动态合成负实例来调整模型,以便更准确地检测未知关系。
- 交互式系统异常检测
提出了一种交互式系统异常检测方法 InterSAD,采用马尔可夫决策过程建模交互系统,并开发了一种端到端方法,包括编码器 - 解码器模块和策略网络,通过试错法收集数据,并采用回放缓冲区来稳定学习过程,成功在两种基准环境中进行了实验。
- 学习打破循环:分析和减少神经文本生成中的重复
通过量化实验研究,我们发现神经语言模型生成文本中会存在连续重复句子的现象,并提出了针对该现象的训练方法 DITTO,该方法不仅可以缓解生成中的重复问题,同时还能提高生成质量。
- 广播语音中流媒体说话人变化检测的领域感知训练
本文提出了一种新的演训方法,用于说话人变化检测模型,使用目标函数,鼓励模型在指定阈值内预测单个正标签,实验证明该方法相比传统的训练方法在英语和爱沙尼亚语数据集上有很大的改进,另外模型输出可以集中到单个帧上,从而消除了后处理找到确切预测变化点 - 更加自信地训练:在训练期间减轻注入和自然后门的影响
研究了深度神经网络中的后门攻击,发现了后门相关神经元和正常神经元之间的本质差异,并设计了一种新的训练方法,可以有效地防御注入后门,实验证明其效果显著。
- AAAI一种解决棋盘游戏目标实现问题的新方法
本文提出了一种基于 RZ 的搜索算法 (RZS),并使用 FTL 方法修改 AlphaZero 算法来更快地解决 L&D Go 问题,成功解决了一本专业 L&D 书中的 68 个问题,而之前的程序仅解决了 11 个问题。同时,研究者们还讨论 - ICML延迟反馈下的学习:隐含适应梯度延迟
针对多台异步运行的机器共同访问的内存环境下的随机凸优化问题,我们提出了一种鲁棒的约束训练方法,其非渐近收敛保证不依赖于更新延迟、目标平滑度和梯度方差的先验知识。与此相反,现有方法严重依赖于这些先验知识,因此不适用于所有共享资源的计算环境,如 - 使用规则表示控制神经网络
本文提出了一种新的深度学习训练方法,将规则集成到深度学习中,使规则的优势在推理过程中是可控的。DeepCTRL 不需要重新训练以适应规则强度 - 在推理过程中,用户可以根据所需的准确率和规则验证比来调整它。在实际应用中,DeepCTRL 可 - ICCV基准或 DAER:选择性重新查询辅助信息
本文提出了种子拒绝的问题,即基于期望的性能降级来决定是否拒绝种子。提出了一种新的训练方法和评估指标,并在视点估计和细粒度分类任务中进行了实验证明,该方法可以将需要审核的种子数量降低 23% 以上。
- ECCV超越曼哈顿世界假设的三维房间布局估计
本文提出了基于最新的三维室内布局估计模型的训练和后处理方法,实验结果显示我们的方法在预测可见室内布局方面比现有方法大幅优越,并在 2020 年全面场景结构与 3D 视觉研讨会获得了第三名。
- ECCV基于 PROFIT 的移动 Net 模型训练方法
本文提出了 PROFIT 训练法和 DuQ 量化方法,用于解决低位精度移动网络中的权重量化引起的激活不稳定性问题,以提高移动设备的能效,并在 ImageNet 数据集上评估验证,与全精度基线相比,4 位量化提供了相似的准确性。在对 Mobi - KDD利用支持集中的匹配信息进行少样本事件分类
研究了事件分类中的少样本学习问题,提出一种通过充分利用支持集的训练方法,能够扩展传统有监督学习模型操作未出现事件类型的能力,实验表明在全指标学习方法中,该方法能够将事件分类的最佳准确性提高多达 10%。
- EMNLP插入删除变换器
提出了插入删除变压器 —— 一种用于序列生成的新型基于变压器的神经结构和训练方法。其中模型由插入阶段和删除阶段两个执行迭代的阶段组成,通过插入模型输出直接获取删除模型的信号。在合成翻译任务上,相较于仅插入模型,插入删除变压器在 BLEU 分 - AAAI使用随机噪声做遮罩改进词汇表示方法
GROVER 是一种用于词语表示和性能提升的训练方法,通过渐进式地将随机噪声添加到词嵌入中,得到进一步优化和专门化于任务的词表示,并在文本分类数据集上实验得到更好的模型性能。
- PipeMare:异步管道并行 DNN 训练
该论文探讨了管道并行(Pipeline parallelism)训练神经网络的各种技术,提出了一种简单而健壮的训练方法,名为 PipeMare,可以在保持与同步训练相当的模型质量的情况下提高硬件利用率,允许高效使用细粒度的并行计算。在 Re - 空间进化生成对抗网络
本文探讨了对生成对抗网络中出现的不稳定性和模态崩溃问题进行改进的方法,通过引入进化计算的原理,将两种促进训练多样性的方法(E-GAN 和 Lipizzaner)进行混合,提出了一种名为 Mustangs 的进化 GAN 训练方法,该方法通过 - 通过对抽象关系结构进行对比学习制作类比
该研究通过关注数据的选择和呈现方式,研究神经网络在感知和推理原始视觉数据时如何诱导类比推理能力,并发现最健壮的类比推理能力是通过在输入域中对抽象关系结构进行对比学习而诱导的。
- 高质量自监督深度图像去噪
利用一种新颖的训练方法,基于有噪声图像的非组织集合来培训高质量的图像去噪模型,通过采用具有感受野盲区的网络来消除对参考数据的需要,提高了图像质量和训练效率,最终结果质量与最先进的神经网络去噪器相当。
- CVPRRePr: 卷积滤波器的改进训练
研究表明,通过暂时修剪和恢复模型的子集滤波器,反复进行该过程,可以减少所学习特征的重叠,从而提高了模型的泛化能力;而在这种情况下,现有的模型修剪标准并不是选择修剪滤波器的最优策略,因此引入了滤波器之间内部正交性作为排名标准。这种方法适用于各