- 事实与感受:在表格转文本生成中捕捉客观性和主观性
通过对线性化表格进行序列到序列模型的微调和在流行的大型语言模型上进行提示,我们分析了从定量和定性的角度来确保捕捉主观性和事实的一致性的结果,显示出微调的 LMs 可以接近提示的 LLMs。根据我们的了解,我们提供了一种多类型和包含主观性的表 - 增强解码器:训练递归神经网络进行时间序列预测
本研究提出了一种名为增强解码器的新型训练方法,通过引入辅助模型生成备用解码器输入来解决多步骤时间序列预测中的累积误差问题,并利用强化学习算法动态选择最优输入以提高准确性。综合实验表明,该方法在多个数据集上优于常见训练方法。此外,该方法在基于 - 对等学习中的序列到序列模型:一个实用应用
探索使用基于 LSTM 单元的序列到序列 (Seq2Seq) 模型在点对点学习环境下的自动语音识别 (ASR) 任务的适用性,通过两种不同的点对点学习方法模拟代理学习过程,并使用两个不同的 ASR 数据集评估其性能。研究发现在集中式训练环境 - 改进序列到序列模型,使用元启发式方法进行抽象文本摘要
在信息时代,人们阅读冗长的新闻文章的时间越来越少,提供简洁的信息摘要变得比以往任何时候都更为重要。本文旨在改进现有的架构和模型,针对抽象文本摘要进行微调超参数,并尝试特定的编码器 - 解码器组合,以提高摘要生成的效果。
- Alirector:对齐增强的中文语法错误修正器
本文提出了一种用于解决过度更正问题的对齐增强纠错模型,适用于序列到序列模型和仅具有解码器的大型语言模型。该方法通过训练纠错模型生成源句子的初始纠错,并将其与源句子结合,经过对齐模型进行另一轮纠错,以确保对齐模型专注于潜在的过度更正。此外,为 - 关于可证明长度和组合泛化性的研究
通过针对不同架构(包括深度集合、转换器、状态空间模型和简单循环神经网络)的研究,我们首次提出了能够证明长度和组合泛化的方法,并证明了对于长度和组合泛化,需要不同程度的表示识别,如与地面真实表示的线性或排列关系。
- DurFlex-EVC: 持续可变情感语音转换并行生成
本研究介绍了一种基于序列到序列模型的 Duration-Flexible 情感语音转换方法 (DurFlex-EVC),通过引入样式自编码器和单位对齐器,实现了同时建模音高和持续时间的并行语音生成,提高了转换的可靠性和效率,并通过跨注意机制 - 基于神经网络的儿童早期写作自动反馈
使用机器学习自动评估和构建早期写作的反馈,通过序列到序列模型将学生的早期写作 “翻译” 成 “传统” 写作,从而能够使用语言度量对翻译后的文本进行分析,并使用鲁棒似然方法减轻数据集中的噪声效应,并通过一系列数值实验证明能以高准确率预测传统文 - 带有标签和转移概率的神经 HMM 的端到端训练
利用隐马尔可夫模型(HMM)对端到端神经网络训练进行新颖的建模方法进行研究,该方法中隐藏状态之间的转移概率被显式建模和学习,通过 GPU 加速的前向后向算法实现标签和转移概率的同时训练,结果显示转移模型训练并不能提高识别性能,但对齐质量有积 - 通过拆分和洗牌对 BART 进行 Feintuning 以增强关键词生成
提出了 Keyphrase-Focused BART 方法来处理关键短语生成任务,利用序列到序列模型在存在和不存在关键短语生成上的差异进行细微调整,并展示了洗牌关键短语和候选关键短语排名的有效方法,在五个关键短语生成基准数据集中,我们的 K - 层次表示融合的组合性泛化
通过引入 fuse-attention 模块,提出了一种扩展的序列到序列模型( extsc {FuSion}),以适当地将上一层的信息融合回编码和解码过程中,有效地解决了表示缠结问题,并在两个实际基准测试上取得了竞争性甚至最先进的结果,从而 - TCN AA:一种基于 Wi-Fi 的时间卷积网络,用于带有数据增强和注意力机制的人与人之间的交互识别
提出了一种新颖的基于 TCN-AA 的方法,该方法结合增强和注意力机制,具有更高的计算效率和准确率,在公共数据集上的表现优于现有技术,最终准确率为 99.42%。
- ACL零样式忠实事实误差校正
该论文提出了一种零 - shot 框架,用于纠正文本知识库中的事实错误,具有可解释性,并使用不同的方法进行度量,改善了已有的模型。
- Seq2seq 模型中的 Token 级拟合问题
研究表明,在自然语言处理方面,序列到序列 (seq2seq) 模型的早停训练会导致 token 级别出现过度拟合和欠拟合的问题,并通过实验和分析找出了对 token 级别拟合的三个主要影响因素。
- 序列到序列模型下的后门学习
本文针对输出空间无限离散的 seq2seq 模型做了后门攻击的研究,发现只需注入 0.2% 的样本,即可成功使模型生成指定关键词和完整句子,使用 Byte Pair 编码技术可以创建多个新的后门,通过机器翻译和文本摘要的实验验证了该方法攻击 - ACL揭示序列到序列模型在序列标注和结构解析中的真正潜力
本篇论文系统研究了利用包含解码技术的序列到序列模型(Sequence-to-Sequence,简称 S2S)开展的语音识别、命名实体识别、组成性和依赖分析等任务。作者设计和评估了三种不同的线性化模式及相对应的约束解码模式,进行了实验比较,结 - 阿拉伯语至英语广播新闻的端到端语音翻译
本文介绍了第一个基于端到端范式的新闻广播阿拉伯语到英语语音翻译系统,并探讨了数据增强和转移学习等多种场景下基于管道和端到端的语音翻译系统的训练和比较。
- EMNLP用于事实验证的数据高效自回归文档检索
本文介绍了一种不需要标注的远程监督方法,可用于训练自回归召回器,以在零样本环境中获得竞争性召回率和精确率。此外,通过针对特定任务的监督微调,展示了利用少于 1/4 注释数据的情况下,基于 Wikipedia 的事实验证任务的自回归检索性能可 - 决策网络及其训练方法
本研究探讨 “deliberation network” 家族的各种训练选项,并提供了一个统一框架,建议在并行训练时采用分别训练的方式,对于中间模型应在自由运行模式下,对于连续输出任务,可采用引导注意损失以防止退化为标准模型。
- EMNLP序列到序列模型对结构泛化的困难
通过实验证明,Seq2Seq 模型在英语句法分析、语义分析和文本之间的转换任务中,普遍存在推广的普适性较低的问题,但是在建立了语言知识的神经符号模型中,这些限制往往可以克服。