- 基于 3DMM 和 3D Landmarks 的协同作用用于精准的 3D 人脸几何模型
本文研究了从 3D 可塑模型(3DMM)和 3D 面部标记的协同学习过程,以预测完整的 3D 面部几何,包括 3D 对齐,面部方向和 3D 面部建模。我们的协同过程利用了 3DMM 参数和 3D 标记的表示循环。3D 标记可以从 3DMM - MM深度神经网络在物理层通信中的开箱探秘
本文量化分析和实验验证深度神经网络在物理层发送中的信息流动,研究其在计算复杂度方面的成本,以及为什么它们能够与传统技术实现可比较的性能。
- ACL面向会话情感识别的有向无环图网络
介绍了一种基于有向无环图(DAG)进行对话建模的方法,通过设计一个有向无环神经网络 (DAG-ERC)来实现,其提供了更直观的模型,能够更好地模拟长距离对话背景和近距离上下文之间的信息流,并以四个情感识别基准测试集为例,结果表明该模型的优越 - ICML通过前馈反演经过区分训练的分类器理解不变性
本篇文章研究神经网络分类器的信息流动及其影响因素,包括模型结构,训练目标(特别是鲁棒性损失),正确和错误分类图像之间的表征差异,以及对 logits 和图像进行操作的效果,提出了一种基于 BigGAN 的前馈反演模型,可以生成高保真重建的图 - BERT 中信息流的解释的影响模式
介绍了影响模式来理解注意力机制,发现 BERT 模型中信息流主要通过跳跃连接而非注意力头,而且模式的一致性是 BERT 性能的一个指标,比以前的注意力和层次方法更好。
- HourNAS: 透过沙漏镜头的极速神经架构搜索
我们提出了一种基于沙漏启发式方法的神经架构搜索算法,该算法能通过识别关键块并将其优先考虑,从而快速搜索出网络架构,同时保持准确性,并且在计算资源的限制下,进一步缩小了搜索空间,获得了 77.0%的 Top-1 准确率,超过了最先进的方法。
- CVPR信息流建模的异质知识蒸馏
本文提出了一种新的知识蒸馏方法,通过建模教师模型各层之间的信息流,训练学生模型来模拟信息流。该方法通过适当的监督方案解决了训练过程中不同阶段的监管问题,并设计和训练了一个适当的辅助教师模型,作为一种代理模型,能够 “解释” 教师的工作方式给 - 变形金刚中的注意力流量量化
本文提出两种方法 —— 注意力展开和注意力流 —— 用于近似计算相对于输入令牌的注意力权重,以解决在 Transformer 模型中,由不同令牌产生不同的信息流动混合,使得注意力权重不可靠作为解释探针的问题。与原始注意力相比,这两种方法均具 - Twitter 上 COVID-19 信息与误信息分享的初探
初步发现 COVID-19 的社交媒体讨论数量与新病例的增长存在显著的时空关系。其中,关于谣言和低质量信息的讨论存在,但相较其他危机相关的主题,它们的存在不是很突出。
- GSN:用于多方对话的图结构网络
本文提出了一种基于图形结构神经网络的对话建模方法,其中核心是可以沿着图形结构对话建模信息流的基于图形的编码器,实验结果表明,与现有的基于序列的模型相比,GSN 有显著的优势。
- 计算系统中的信息流
提出一种基于条件互信息的信息流定义方法,通过算法在计算系统的时间展开图中检测信息流,并满足信息路径存在的可靠属性。
- AAAI关于网络科学和互信息的深度神经网络解释
本文提出了一种新的方法来解释深度学习模型,并通过结合互信息和网络科学探究了信息在前馈网络中的流动。我们展示了高效近似互信息可以创造一个信息度量,用于量化深度学习模型中任意两个神经元之间流动的信息量,并提出了神经信息流(NIF)技术,用于编码 - ICML朝向二值门的鲁棒 LSTM 训练
本研究提出了一种新的 LSTM 训练方式,使得门控单元的输出更加容易解释,经过实证研究,发现通过将门控单元的输出值推向 0 或 1,可以更好地控制信息流,从而提高模型的泛化能力和压缩率。
- 用信息论理解卷积神经网络:一个初步探索
本文介绍了基于重现核希尔伯特空间中投影数据的 Hermitian 矩阵的归一化特征谱而发展起来的基于矩阵的 Renyi's alpha-entropy functional 及其多元扩展方法,拓展其使用价值并应用于卷积神经网络(CNN)中, - CVPR路径聚合网络用于实例分割
本文提出 Path Aggregation Network(PANet)来提高神经网络中信息传递的效率,主要集中于基于提案的实例分割框架。具体来说,通过底层路径增强和自适应特征池化等方法来提高信息的传递效率,并建立了一个补充分支,以有效提高 - CVPR交替更新团块的卷积神经网络
提出了一种基于循环反馈结构和多尺度特征策略的 CliqueNet 卷积神经网络,通过改进信息流提高了网络的训练效率,利用参数更加高效,实验结果在 CIFAR-10,CIFAR-100,SVHN 和 ImageNet 等数据集上表现优异,同时 - CVPRSketchyGAN:多样化逼真的草图到图像合成
本研究提出了一种新的生成对抗网络 (GAN) 方法,利用数据增强及信息流构建模块等技术,在摩托车、马和沙发等 50 类别的草图上合成逼真的图像,并在 Inception 分数上取得显著的改进。
- NIPS一种前向后向方法用于可视化深层网络中的信息流
该研究提出了一种新的系统框架,用于可视化深度网络中的信息流,通过在给定的测试图像中生成与给定解释有关的紧凑支持,该方法具有计算效率和数值稳健性,并提供了几个初步的数值结果,支持我们的框架优于现有方法的好处。
- ICML通过输入重采样实现卷积神经网络的可视化解释
我们提出了一种通过检测神经网络中的信息流来分析预测的框架,该框架使用两个指标选择神经元,这些神经元既对网络输出产生巨大影响又能激活通用特征并比较不同度量筛选的神经元集合,从而提出了一种调查卷积神经网络内部注意机制的方法。
- 带有合并运行映射的深度卷积神经网络
提出了一种简单的深度 merge-and-run 神经网络架构,通过一种线性幂等函数的组装方式,在并行的残差分支中进行输入平均和残差输入并行处理,不断添加到后续残差块的输出上,大大缩短路径,并提高信息流动和网络的训练难度。与 ResNet