Feb, 2016

用于源代码极端摘要的卷积注意力网络

PDF
TL;DR本文中，我们介绍了一种利用卷积神经网络检测具有局部平移不变性和长远主题型注意力特征的关注神经网络，用于解决将源代码片段极端归纳为类似函数名称的概述的问题，在十个流行的 Java 项目中进行测试，并显示出优于之前注意性机制的性能。
attention mechanismsneural networksconvolutionextreme summarizationsource code snippets
发现论文，激发创造
  • 面向主题的卷积神经网络进行极端摘要

    本文提出了一种新型单一文档摘要任务 —— 极端提要，旨在采用抽象建模方法，而非传统的提取策略，实现一句话新闻概述，主要探讨了基于卷积神经网络的创新型抽象模型在文档摘要和相关处理方面的性能和应用

    Aug, 2018

  • 利用眼动追踪模拟人类注意力以进行神经源代码摘要

    该研究利用发布的眼动实验数据创建了人类关注模型，并使用它来改进基于神经网络的源代码摘要方法，以预测在生成自然语言描述时代码中最重要的单词。

    May, 2023

  • 对比关注机制用于抽象句子摘要

    提出了一种对抽象句子摘要任务的序列到序列框架进行扩展的对比注意机制，以生成给定源句子的简要摘要，并在基准数据集上进行实验证明，在摘要中更关注源句子的相关部分比传统的注意机制更有效。

    Oct, 2019

  • 全局关注：用于序列到序列预测的二维卷积神经网络

    通过使用基于卷积神经网络而非 encoder-decoder 结构的方法，每一层在输出序列上重新编码源标记，我们的模型在参数更少的情况下表现出色，优于现有的机器翻译系统。

    Aug, 2018

  • 总结系统编码器 - 解码器注意力中的稀疏性和句子结构

    研究表明摘要任务中有稀疏的句子结构，可以用部分输入句子来限制编码器 - 解码器注意机制，并保持系统性能。

    Sep, 2021

  • 专注卷积：为 CNN 配备类 RNN 的注意机制

    提出了一种名为 ATTCONV 的基于关注机制的卷积神经网络，该网络凭借从非线性上下文中提取的信息和集成到卷积操作中的关注机制，在句子级表示学习方面具有有效性。

    Oct, 2017

  • 利用深度学习架构增强上下文理解的神经序列到序列模型与注意力的应用于抽象文本摘要

    该研究提出了一个新颖的抽象式单文档文本摘要框架，融合了结构、语义和基于神经网络的方法，通过结合机器学习和基于知识的技术实现了一种统一的方法。实验证明了该框架在处理罕见和未登录词方面的显著改进，优于现有的深度学习技术。

    Apr, 2024

  • 摘要文档生成的注意力优化

    该论文提出了一种基于序列到序列的文档摘要模型中的注意力机制改进方法，结合局部方差损失和全局方差损失分别从局部和全局方面增强注意力的监督，并在 CNN/Daily Mail 数据集上验证了其有效性。

    Oct, 2019

  • 注意力增强卷积网络

    本文针对使用卷积操作在视觉任务中只关注局部局部信息、缺乏全局信息的不足，提出运用自注意力机制对视觉任务进行处理的方法；通过在图像分类和目标检测任务中实现卷积和自注意力的融合，可有效提高模型精度。

    Apr, 2019

  • 深度强化学习模型用于摘要生成

    提出了一种基于编码器 - 解码器和 RNN 的自注意力神经网络模型，通过组合监督和强化学习来训练和生成连贯性和可读性更强的长文摘要，与目前最先进模型相比，在 CNN / Daily Mail 数据集上取得了 41.16 的 ROUGE-1 得分，并且人工评估表明我们的模型产生了更高质量的摘要。

    May, 2017