理解基于注意力的编码 - 解码网络：以国际象棋记分表识别为例的案例研究

Apr, 2024

理解基于注意力的编码 - 解码网络：以国际象棋记分表识别为例的案例研究

Understanding attention-based encoder-decoder networks: a case study with chess scoresheet recognition

Sergio Y. Hayashi, Nina S. T. Hirata

TL;DR深度神经网络在学习复杂预测任务方面广泛使用，本文通过研究带有注意机制的编码器 - 解码器循环神经网络，旨在更好地理解这种网络的学习过程。通过对手写棋谱的任务进行表征，并实验性地研究影响学习的因素，我们发现了输入 - 输出对齐、序列模式识别和手写识别之间的竞争、合作和依赖关系。我们认为这些知识有助于更好地平衡因素，以正确训练网络。

Abstract

deep neural networks are largely used for complex prediction tasks. There is plenty of empirical evidence of their successful end-to-end training for a diversity of tasks. Success is often measured based solely on the final performance of the trained network, and explanations on when,

deep neural networks encoder-decoder recurrent neural networks attention mechanisms handwritten chess scoresheets learning

发现论文，激发创造

使用基于注意力机制的编码 - 解码网络描述多媒体内容

本文介绍了使用深度神经网络中的递归神经网络和卷积神经网络等措施来实现注意力机制，以解决多元随机变量富含联合分布的结构化输出问题。通过典型任务如机器翻译、图像字幕生成、视频片段描述和语音识别实验，系统展示了很好的性能。

Jul, 2015

评估序列到序列模型在手写文本识别中的应用

该研究提出了一种基于注意力机制的序列到序列模型用于手写体识别，其中结合了卷积神经网络进行视觉信息的提取，实验结果表明其相比于最近的序列到序列方法取得了显著提升。

Mar, 2019

注意力网络中的深度特征分析

该研究提出了一种基于注意力机制的深度神经网络模型解释方法，通过可视化生成的热图分析分类准确性和注意力之间的关系，并证明了使用改进注意力方法可以更好的展示分类器的解释。

Jan, 2019

在神经网络内建模潜在注意力

本研究提出了一种可解释的方法，能够可视化神经网络中的内在机制和其对输出的影响，从而提高了深度神经网络的可解释性和决策过程，研究的主要贡献是提出了一种数据集中心的算法，适用于多个领域的深度神经网络结构。

Jun, 2017

使用循环神经网络生成新闻标题

使用编码器 - 解码器递归神经网络结构（包括 LSTM 序列模型与关注机制），对新闻文章中的文本进行标题的生成并拥有较好的简明概括能力；同时研究了神经网络决定关注哪些输入单词的方法，发现相比于复杂的机制而言，简化版的关注机制在一定数据集上表现更出色。

Dec, 2015

DeepChess: 棋类自动学习的端到端深度神经网络

本文介绍了一种基于深度神经网络的端到端学习方法，通过无监督预训练和有监督训练来训练神经网络，实现了无先验知识的自动下棋策略，结果表明 DeepChess 能够和经过多年人工调整的机器下棋程序相媲美，是第一个能够实现国际象棋特级大师水平的端到端机器学习方法。

Nov, 2017

深度循环神经网络语音识别

本文研究了将深度网络的多层表示与强大的 RNN 模型相结合的模型 - 深度递归神经网络，通过合适的正则化和端到端的训练方法，该模型在 TIMIT 语音识别基准测试中获得了最佳记录得分 17.7％。

Mar, 2013

面向条件序列处理的聚焦分层循环神经网络

提出了使用基于注意力机制的人工神经网络（RNNs）来实现序列建模任务的机制，它允许 RNNs 关注需要的输入的关键部分。通过使用一个多层的有条件序列编码器，读取一个令牌并对其进行离散的决策，来控制信息流入以上层。此方法在几种任务类型上进行评估，包括各种属性的合成任务以及大规模的问答任务，并且相对于已有的基准模型，都得到了一致的性能改进。

Jun, 2018

深度强化学习模型用于摘要生成

提出了一种基于编码器 - 解码器和 RNN 的自注意力神经网络模型，通过组合监督和强化学习来训练和生成连贯性和可读性更强的长文摘要，与目前最先进模型相比，在 CNN / Daily Mail 数据集上取得了 41.16 的 ROUGE-1 得分，并且人工评估表明我们的模型产生了更高质量的摘要。

May, 2017

一种高效的端到端神经模型用于手写文本识别

本文提出一种将卷积神经网络和序列到序列模型相结合，将图像映射到文本序列，实现手写文本识别能力，且采用 Focal Loss 方法解决文本识别的类别不平衡问题，并应用 Beam Search 算法来提升模型的解码性能，在常见的 IAM 和 RIMES 数据集上实验表明，本文提出的模型在词级别的准确率方面分别提高了 3.5％和 1.1％，达到了国际先进水平。

Jul, 2018