- AAAI无监督条件下理解深度神经网络中概念的分布表示
本文提出了一种新的无监督方法,通过选择主要的神经元子集来发现概念的分布式表示,该方法可以用于识别数据中的未标记子类,并检测错误分类的原因,同时还揭示了不同层次的深度学习模型内部机制的深入洞察。
- 跨层表示优化预训练模型的无需重演训练的持续学习
我们提出了 LayUP,这是一种基于类原型的持续学习方法,利用预训练网络的多个中间层的二阶特征统计。与最佳基准线相比,LayUP 在七种类增量学习设置中提高了四种,并且在内存和计算资源占用方面大大减少。我们的结果表明,充分利用预训练模型在持 - 利用多语言数据集进行预训练的能力:提升文本定位性能
基于中间表示的领域自适应场景文本识别模型,以达到在各个领域中的高准确性和高效率。
- ICML探索新的方法:强调表征差异性以学习新特征并减少误差一致性
利用表征相似性领域的方法,提出了一种新颖的想法,在训练期间推动中间表示在不同架构之间的深度上不同,以学习具有不同故障模式的鲁棒集成模型。结果表明,高度不相似的中间表示导致较低的相关性输出预测及稍微降低的错误一致性,并提高了集成模型的准确性。
- 自监督语音模型的分层比较分析
本研究使用基于规范相关性分析(CCA)的轻量级分析工具,考察了多种最近模型的中间表示,发现它们所编码的属性在不同层次上发展,变化与预训练目标的选择有关,进一步探究了这种分析在下游任务中的实用性,并发现 CCA 趋势为选择下游任务感兴趣的层提 - 使用中间表示解锁预训练模型中的组合概括能力
通过使用中间表示法,这篇研究提出了一种改善基于预训练的 seq2seq 模型的组合泛化能力的有效方法,该方法在 CFQ 数据集上表现出新的最优水平(精度提高 14.8 个百分点),在三个 text-to-SQL 数据集的示例分割上精度提高了 - CVPR学习 ABC:利用弱监督实现近似双射对应以隔离变化因素
使用基于元素之间相似性的自然弱监督,提出了一种从中学习具备高可重用性,去除非目标因素的深度表示的新算法,在合成和真实域上通用的物体姿态转换任务中得到了应用。
- ACL语音翻译与端到端的承诺:回顾我们的现状
本文介绍了语音翻译技术从松散耦合的串联模型到紧耦合再到最近备受关注的端到端模型的发展历程,讨论了传统方法所面临的主要挑战和最新方法对克服这些问题的方案。通过对传统和最新方法进行统一分类和命名,以解决语音识别和数据缺失问题等开放性研究问题。
- ACL基于内容词的句子解码与评估在开放域神经响应生成中的应用
研究了基于编码器 - 解码器模型的开放领域对话系统的自动回复方法,并提出一种将内容单词序列作为中间表示的方法,并通过将学习和评估的重点从完整句子转移到内容单词序列,提高了生成语句相关性的方法。
- 计算机视觉对动作有影响吗?
通过沉浸式模拟实验,本论文探讨了计算机视觉是否对于行动任务具有意义,发现具有中间表征的模型能更快、更好、更广泛地训练、执行任务并且适应以前未见过的环境
- 知识转移对抗网络 (KTAN)
本文提出了一种基于知识蒸馏的对抗性学习框架以更好地训练轻量化(学生)卷积神经网络,同时全面考虑了大型(教师)卷积神经网络中的概率分布和中间层表示。实验结果表明,该方法可以显著地提高学生网络在图像分类和物体检测任务 上的性能。
- ICLRFlowQA:历史流程掌握在对话机器理解中的应用
本文介绍了 FlowQA,一种基于 Flow 机制的会话式机器阅读理解模型,该模型可利用中间表示来整合之前的问答对,将序贯指令理解降为会话式机器阅读理解,并且在多个任务中表现出卓越的性能。
- 使用中间概念的深度监督
本文提出一种深度监督方法,通过利用中间概念对 CNN 的隐藏层进行监督,将先前的领域结构融入到神经网络训练中,显著提高了推广能力。该方法还可以仅使用合成场景来训练,并在实际图像上取得了 2D/3D 关键点本地化和图像分类的最新性能。
- PrivyNet: 面向隐私保护的深度神经网络训练的灵活框架
该研究提出了一种基于中间表示的 DNN 拆分框架,其中本地神经网络用于生成特征表示,云神经网络则基于提取的中间表示用于目标学习任务的训练,在保护数据隐私的同时优化目标任务的准确性,并提出 PrivyNet 来确定本地神经网络的拓扑结构以优化 - 基于编码器 - 解码器的语音识别中的低层辅助任务多任务学习
本研究探讨了将中间表示作为深度网络低层的辅助监督的方法,将传统的 pipeline 方法与端到端的训练方法相结合,实验结果表明这种方法提高了对话语音识别的识别准确性。