充分利用 Seq2Seq 模型作为强大的少样本学习器

Jul, 2023

充分利用 Seq2Seq 模型作为强大的少样本学习器

Exploiting the Potential of Seq2Seq Models as Robust Few-Shot Learners

Jihyeon Lee, Dain Kim, Doohae Jung, Boseop Kim, Kyoung-Woon On

TL;DR在广泛的任务范围内，通过在 - context 学习中的两种方法：目标对齐提示和基于融合的方法，我们提出了一种比传统的 seq2seq 模型在各种设置下表现更好的方法，它将比传统的 seq2seq 模型更有效地引出函数序列到序列模型的学习能力，并且通过正确的配置和提示设计，它在各种应用领域中可以成为高效的 Few-shot 学习器。

Abstract

in-context learning, which offers substantial advantages over fine-tuning, is predominantly observed in decoder-only models, while encoder-decoder (i.e., seq2seq) models excel in methods that rely on weight updat

in-context learning few-shot learning seq2seq models encoder-decoder prompt design

发现论文，激发创造

仅解码器还是编码器 - 解码器？将语言模型解释为规则化的编码器 - 解码器

本文通过对传统 encoder-decoder 和 decoder-only language model 结构的对比分析，揭示了 decoder-only language model 存在的注意力退化问题，并提出了 partial attention language model 来解决这一问题。

Apr, 2023

基于深度强化学习的序列到序列模型

本文介绍最近相结合的 seq2seq，深度神经网络和加强学习模型，考虑如何在决策制定的 RL 方法中利用序列到序列模型的长期记忆能力来解决复杂的问题，提出并探讨 RL 方法解决序列到序列模型领域常见的曝光偏差而且在训练与测试的指标上也不一致的两个问题，并提供了大多数 RL 模型的源代码以支持抽象文本摘要的复杂任务。

May, 2018

少样本神经序列建模的词汇学习

通过引入词汇翻译机制并使用多种词典学习算法来初始化这种机制，可以提高序列建模任务的系统化泛化能力。

Jun, 2021

Few-shot Fine-tuning vs. In-context Learning: 公平比较和评估

本文比较了预先训练的语言模型的任务适应的两种替代策略：few-shot fine-tuning 和 in-context learning。通过控制模型、样本数量和参数数量，研究表明 fine-tuned language models 确实可以很好地泛化到 domain 外。虽然两种方法的表现存在巨大变化，并且取决于模型大小和样本数量等属性，说明鲁棒的任务适应仍然是一个挑战。

May, 2023

通过解码干预提升 Seq2Seq 语法错误修正

我们提出了一种统一的解码干预框架，利用外部评论家来评估逐步生成的令牌的适当性，并在动态影响下一个令牌的选择。通过在英语和中文数据集上进行广泛实验，我们的框架始终优于强基准线，并达到与最先进方法相媲美的结果。

Oct, 2023

序列到序列学习作为 Beam-Search 优化

该研究介绍了一种基于全局序列评分学习的 Sequence-to-Sequence (seq2seq) 模型和波束搜索训练方案，通过避免局部训练的传统偏差问题，统一训练损失和测试时间使用，并保留 seq2seq 的有效训练方法。在单词排序、解析和机器翻译三个不同的序列到序列任务中，该系统优于基于注意力的 seq2seq 系统高度优化的系统和其他基准线。

Jun, 2016

评估序列到序列模型在手写文本识别中的应用

该研究提出了一种基于注意力机制的序列到序列模型用于手写体识别，其中结合了卷积神经网络进行视觉信息的提取，实验结果表明其相比于最近的序列到序列方法取得了显著提升。

Mar, 2019

评估序列到序列模型的增量性

该研究提出三个新的指标以评估具有和不具有注意力机制的 RNN 的行为，发现不同模型类型处理句子的方式存在关键差异，这揭示了人类和注意力中心方法在语言处理方面的行为上存在的显著对比。

Jun, 2019

序列转序列模型中更好的解码和语言模型集成

该研究分析了一个基于注意力机制的序列到序列语音识别系统，提出了解决其预测过于自信和产生不完整转录的问题的实用解决方案，并在没有语言模型的情况下，其词错误率为 10.6％，与 trigram 语言模型一起达到了 6.7％的词错误率。

Dec, 2016

基于 seq-to-seq 模型的增量式任务导向对话解释潜力分析

本文针对合成的任务型对话数据，研究了编码器 - 解码器模型在处理话语中的犹豫和自我修正等不连贯现象时的表现，并发现这些现象对于带有注意力机制的序列到序列模型的任务成功几乎没有影响，同时分析发现模型在处理这些现象时的表示中没有意识到其结构，但是加入这些现象的数据可以帮助模型更清晰的建立表示。

Aug, 2018