- 深度学习用于时间序列分类和外源回归的现状调查
本文评述了深度学习在时序数据分类和外在回归中的最新技术,讨论了应用深度学习于时间序列数据所面临的挑战和机会,并总结了人体活动识别和卫星观测等两个关键领域的应用。
- 多模态数据的联邦迁移学习
提出了一种基于联邦转移学习的智能设备多模态数据联合训练框架,分组采用有监督学习和自监督学习,实现了数据隐私保护和模型迁移,该框架在不同设备间收集数据并保持联邦学习的特性。
- 样本学习一致性可预测性研究
本文研究如何通过训练模型来预测 CIFAR-100 和 CIFAR-10 的难度得分,发现 C-Score 难以泛化到其他数据集,因此提出基于样本关系的假设,希望在进一步的工作中探索。
- 强化学习智能体迭代设计的价值函数分解
本文介绍如何将价值分解结合到广泛类的演员 - 评论家算法中,以协助迭代代理设计过程,包括引入基于价值分解的工具和一种新的奖励影响度量方法。
- ICML非自回归 Transformer 模型的学习
本文分析了非自回归 Transformer 的学习挑战,提出统一视角来理解存在的成功。研究表明,我们的视角可以解释 NAT 学习中的现象并指导新的训练方法的设计。
- 预处理有助于训练超参数化神经网络吗?
本论文提出两种新的预处理方法以实现针对深度神经网络的快速训练,从而绕过传统的训练方法中的高计算成本,并提供大量其他快速训练方法的理论启示。
- ECCV半孪生模型训练用于浅层人脸学习
本论文提出了一种名为 Semi-Siamese Training (SST) 的新型训练方法,通过利用更新的图库队列来对浅表训练数据进行有效的优化。本方法不需要额外的依赖,因此可以灵活地与现有的损失函数和网络架构相结合。在各种人脸识别基准测 - 探测神经对话模型的对话理解能力
本研究分析了神经网络开放领域对话系统所学习的内部表示,并评估了这些表示的质量以学习基本的交谈技巧。结果表明,标准的开放领域对话系统难以回答问题、推断矛盾并确定对话话题等任务,需要更多的研究来探讨建筑和训练方法,从而更好地捕捉有关对话的高级信 - AAAI神经模型泛化再思考:命名实体识别案例研究
本文在命名实体识别任务上,提出了一种新的泛化能力指标,通过在多个角度分析已有模型在泛化行为上的不同表现,历经深入实验分析,得出了现有神经网络命名实体识别模型在数据集偏差、注释错误等方面存在局限性,并提出了改进方向的训练方法。此外,作者还开源 - AAAI局部独立预测模型集合
本文通过介绍新的多样性度量方法介绍了一种新的模型集成方法,该方法特别适用于数据限制和协变量转移,可显著提高模型的多样性和泛化性能。
- MM神经抽取式摘要模型中数据偏差的深入研究
本研究回顾现有的摘要数据集的现状,研究了数据集的不同因素如何影响神经摘要模型的泛化行为,提出了数据集的几个性质,分析数据集的不同属性如何影响模型结构设计和训练方法的选择,并借鉴分析的经验重新思考了模型设计的过程。我们发现,深入了解数据集的特 - ICML贝叶斯生成主动深度学习
本文提出一种贝叶斯生成主动深度学习方法,将主动学习与数据增强相结合,通过在 MNIST、CIFAR-10/100 和 SVHN 数据集上进行训练和分类实验证明,此方法具有更高效的训练和更好的分类结果。
- 带有李普希茨连续性的鲁棒神经网络
本文针对神经网络的稳健性和稳定性问题,提出了一种通用的训练方法,旨在使现有的神经网络架构更能够适应输入的视觉扰动,该方法无需进行数据扩充或更改网络架构。通过现有的神经网络架构实验,理论证据和实证结果证明,当使用该方法进行训练时,模型性能会显 - ACL单向量处理何所能容:探究句子嵌入的语言特征
本文介绍了 10 种用于捕捉句子简单语言特征的探针任务,使用这些任务来研究三个不同编码器训练的嵌入,并揭示了编码器和训练方法的有趣特性。
- BinaryRelax: 一种松弛算法,用于训练量化权重的深度神经网络
该论文提出了一种名为 BinaryRelax 的算法,用于训练具有量化权重的深度神经网络,该方法使用 Moreau 包络将硬约束放宽为连续正则化器,并通过逐步调整正则化参数将权重推向量化状态,经过在 CIFAR 和 ImageNet 基准数 - 生成对抗网络概述
本文概述了生成对抗网络在信号处理中的应用,讨论了 GANs 的训练方法和构建策略以及它们在 deep representations 学习中的表现和存在的挑战。
- EMNLP神经响应生成中的输出风格和主题控制
本文提出了神经编码器 - 解码器的语言生成模型中对输出风格和主题进行干预的简单灵活的训练和解码方法,通过基于选择性采样的解码方法和遵循性模型将神经生成过程分解为易于实现的子问题,同时通过一定限制方式和主题限制进行生成,该方法在人机交互任务中 - CVPR网络解剖:量化深度视觉表示的可解释性
本研究提出了一种称为网络切片的通用框架,通过评估个体隐藏单元与一组语义概念之间的对齐来量化 CNN 的潜在表示的可解释性。该方法使用广泛的视觉概念数据集来评估中间卷积层中隐藏单元的语义。使用该方法测试单元的可解释性是否等同于单元的随机线性组 - 简化随机前向神经网络
本文提出了一种新的中间随机模型,称为简化 SFNN,该模型可以建立在任何基线 DNN 之上,并通过简化其上部随机单元来近似某些 SFNN。我们将 DNN-> Simplified-SFNN-> SFNN 三个模型联系在一起,从而自然地引导随 - 卷积神经网络在识别负面图像方面的限制
本文研究卷积神经网络(CNN)在学习训练数据语义方面的能力,通过对负面图像进行评估,发现当 CNN 在正常图像上训练,测试在负面图像时,模型准确度明显降低,导致我们猜测目前的训练方法不能有效地训练模型来概括概念,引入语义对抗示例的概念,并将