- 机器翻译模型面对敌对攻击表现强劲
深度学习模型中的对抗攻击通过对输入进行微小扰动,从而导致输出发生重大变化。我们的研究重点是这种对抗攻击对序列到序列(seq2seq)模型的影响,特别是机器翻译模型。我们引入了基本的文本扰动启发式算法和更高级的策略,例如基于梯度的攻击,该攻击 - 充分利用 Seq2Seq 模型作为强大的少样本学习器
在广泛的任务范围内,通过在 - context 学习中的两种方法:目标对齐提示和基于融合的方法,我们提出了一种比传统的 seq2seq 模型在各种设置下表现更好的方法,它将比传统的 seq2seq 模型更有效地引出函数序列到序列模型的学习能 - 对话系统中基于知识图谱的自然语言生成
使用知识图谱增强对话代理的准确性和全面性,但在对话时生成文本仍被认为是一项具有挑战性的任务,本文回顾了知识图谱文本生成的不同架构,包括图神经网络、图变换器和序列到序列模型,选择使用序列到序列变压器模型(PLMs)作为知识图谱到文本生成任务的 - ACL使用多重集标记和潜在置换实现无需树形结构的组合泛化
我们利用新的参数化和置换预测方法,提出了一种将语义解析理解为两步处理,并通过规则化线性规划求解器来预测排列,进而取得了比预训练 seq2seq 模型和之前的工作更好的性能,实现了在深度递归上的高准确度的泛化。
- 学习适当组合句法和语义表示以实现组合泛化
该研究提出了 COMPSITION 模型,它是 Seq2Seq 模型的一个扩展,旨在通过引入一个复合层来适当地学习不同编码器层的表示,以生成传递到不同解码器层的不同键和值,从而在两个现实基准上取得了有竞争力的甚至是最先进的结果。
- 使用 Transformers 评估波斯语 - 英语机器翻译数据集
本研究基于最受欢迎和有价值的平行语料库,将两种最先进的基于注意力的 seq2seq 模型应用于波斯语 - 英语机器翻译任务,旨在为研究人员提供标准基准,以评估其翻译结果。
- AAAI关系抽取的标签增强序列生成
本研究提出了一种改进的 Seq2Seq 模型(RELA),在关系抽取中应用自动标签扩充的文本生成技术,即以关系名或其同义词作为生成目标,并分析了该模型的行为。实验结果显示,相比先前的方法,RELA 在四个关系抽取数据集上取得了竞争性结果。
- 应用基于深度学习的方法实现印度语言文章摘要
本文介绍了使用不同的预训练 seq2seq 模型在 ILSUM 2022 数据集上微调的结果,其中使用 PEGASUS 模型得到了最佳的英文结果,使用具有增强数据的 IndicBART 模型得到了最佳的印地语结果,并使用转换映射为基础的方法 - AAAI通过解决方案多样性泛化数学应用题求解器
本研究提出了一种新的数学词问题求解器训练框架,通过引入解决方案缓冲区和解决方案鉴别器,设计了一种能够鼓励训练数据多样性的缓冲区,并控制缓冲区解决方案的质量,从而有效地提高了各种 Seq2Seq MWP 求解器的性能。
- EMNLP通过互斥训练和基本增强引导组合性
本文分析了 seq2seq 模型在系统化泛化能力方面的缺失,并提出了两种技术对其进行改进:互斥性训练和数据增强。这些技术的应用在常用的组合数据集(SCAN 和 COGS)中实现了显著的实证改进,并提供了进一步的分析和细节的方法探究。
- ACL结构重排与繁衍层的组合通用化
该研究提出了一种基于新颖的 “fertility step” 和之前的 reordering step 所组成的柔性端到端可微神经模型来解决 Seq2seq 模型在复合通用性方面的问题,并在真实语义解析任务的具有挑战性的复合拆分中取得了比 - GROOT:用于生成序列标记的纠正奖励优化
提出了一种名为 GROOT 的生成式奖励优化文本序列框架,通过对迭代生成的预测候选项进行错误校对和对比(基于其奖励值),将生成式序列标注模型的解码器输出分布与(黑盒)奖励函数的分布进行匹配,从而在四种公共基准测试中显着提高了所有奖励度量;此 - ACL使用文本编辑模型生成文本
本文介绍了文本编辑模型和 seq2seq 模型,分析了它们的优缺点,探讨了生产化和应对文本生成中的幻觉和偏见等挑战。
- EMNLP使用 Seq2seq 模型生成有条件的集合
这篇文章提出了一种对于 Seq2Seq 模型的数据增强方法,称为 SETAUG,通过在输入序列中插入集合的大小信息并使用新的排列采样算法,有效地捕捉了集合元素的次序等不变性和基数属性。在进行试验后,这种方法实现了平均相对改进 20%,适用于 - ACL抽象问答作为复合任务导向的语法解析
本文提出了一种基于 QA 技术的自然化语义分析方法,解决了先前基于序列到序列 (seq2seq) 模型生成线性化解析树的一些局限性,减少语义偏差,拥有很好的性能表现。
- ACL展现,不是叙述:示范优于描述用于基于任务的对话的结构指导
通过使用标记的对话示例,而非基于描述的自然语言,向 seq2seq 模型展示模式元素的语义来提供通用对话系统,并在零 - shot 泛化方面取得了最先进的效果。
- ACL给白板上色:预训练赋予序列到序列模型分层归纳偏置
本文通过使用预训练的 seq2seq 模型,探究其是否能够在句法变换中进行层次化泛化,同时还证明了从未经注释的自然语言文本中可以学习到分层句法信息,_SEQ2SEQ 模型具有句法泛化能力,但需要比人类学习者接收更多的语言数据才能达到该能力_ - EMNLPRACE:基于检索增强的提交信息生成
本文提出了一种新的检索增强的神经提交信息生成方法 RACE,利用检索得到的类似提交信息作为样本,并利用它生成准确的提交信息。同时,作者还提出了一个范例导向器,它可以学习检索与当前代码差异的语义相似性,然后根据相似性指导提交消息的生成。实验结 - LLVM 编译器中指令组合的学习
设计实现了一种基于神经网络的指令组合优化方案,结合 Seq2Seq 模型,可以有效减少软件维护成本,并通过 72% 的精确匹配结果和 0.94 的 Bleu 精度得分证明其在编译器管道中的可行性。
- 递归解码:基于情境认知的基于语境的语言理解中的组合生成方法
本文提出了 Recursive Decoding (RD) 算法,针对 “decode-side” 推理,通过逐步预测每个单词来训练 seq2seq 模型,进而在 grounded language understanding 中,以及 s