- 利用背景信息进行句子级词素切割
通过将整个句子作为输入,我们将形态素分割任务重新定义为序列到序列问题,结果显示多语种模型在性能上优于单语种模型,尽管没有超过最先进性能,但与高资源语言相比展现出了可比较的效果,同时揭示了在低资源语言情境下的限制。
- CVPR非自回归序列到序列视觉语言模型
通过多路推断并使用 Query-CTC 损失函数训练的并行解码序列到序列视觉 - 语言模型(NARVL),不再限制为条件分布,能够建模多个推断路径的联合分布,从而在推断时减少了线性复杂度与顺序生成的常态联合推断模式相比达到了与最先进自回归模 - ACL自然语言查询生成电子表格公式
介绍了一项名为 NL2Formula 的新型基准任务,通过提供自然语言查询作为输入,生成与电子表格表格相关的可执行公式,并构建了包含 70,799 个成对的自然语言查询和对应电子表格公式的全面数据集,验证了 fCoder 的有效性和优越性。
- ICCV将图像转换为道路网络:一种非自回归序列到序列的方法
为了准确地定位道路标志物及其互连关系,本研究采用两种数据域的统一表示方法,并构建了一种基于非自回归序列到序列 Transformer 模型的道路网络序列,有效地解决了欧几里得和非欧几里得结构的融合问题,并在效率和准确性上取得了优越结果。
- ACLChem-FINESE: 文本重建验证细粒度少样本实体抽取
本文介绍了一种新颖的基于序列到序列 (seq2seq) 的少样本化精细颗粒化化学实体抽取方法 Chem-FINESE,其包括一个用于从输入句子中提取命名实体的 seq2seq 实体抽取器和一个用于从提取的实体重构原始输入句子的 seq2se - D3PRefiner:一种基于扩散的 3D 人体姿势优化方法
使用单眼相机进行三维人体姿态估计存在深度模糊问题,本文提出了一种基于扩散的三维姿态优化器 (D3PRefiner),通过神经网络学习噪声姿态和真实姿态之间的映射关系,从而大幅提高当前的三维姿态估计性能。
- KeyGen2Vec: 通过多标签关键词生成在问答中学习文档嵌入
我们的研究旨在通过使用序列到序列(Seq2Seq)文本生成器学习文档嵌入,以减少对标签监督的依赖,并将关键短语生成任务重新形式化为基于社区的问答(cQA)中的多标签关键词生成。实证结果显示,相对于多标签关键词分类器,KeyGen2Vec 在 - S2F-NER:探索用于复杂实体识别的序列生成森林
通过提出一种名为 S2F-NER 的新的 Sequence-to-Forest 生成模型,我们的研究论文在处理复杂的、嵌套的、重叠的实体时显著提高了准确性,比传统的 Seq2Seq 和基于跨度的分类方法更适应于长文本数据集,并且能有效解决曝 - EMNLP通过解码干预提升 Seq2Seq 语法错误修正
我们提出了一种统一的解码干预框架,利用外部评论家来评估逐步生成的令牌的适当性,并在动态影响下一个令牌的选择。通过在英语和中文数据集上进行广泛实验,我们的框架始终优于强基准线,并达到与最先进方法相媲美的结果。
- EMNLP基于预训练序列到序列模型的关键词生成中的模型选择和解码重新思考
通过对模型选择和解码策略的系统分析,本文提出 DeSel 算法,通过对 5 个数据集进行评估,平均提高 4.7% 的语义 F1 得分,为基于预训练语言模型的关键词生成(KPG)领域的深入研究奠定了基础。
- 用于语法错误校正系统组合的最小贝叶斯风险解码
对语法错误纠正系统中的最小贝叶斯风险编码进行研究,提出了与此形式标准直接相关的新型 MBR 损失函数,并描述了一种扩展可能候选句集合的方法,实验证明了该 MBR 方法的有效性和对精确率、召回率和综合 GEC 系统的 F 分数的控制能力。
- ACLKU-DMIS-MSRA 在 RadSum23 的应用:用于放射学报告摘要的预训练视觉语言模型
本文介绍 CheXOFA,这是一个新的预训练视觉语言模型,用于胸部 X 光域。该模型最初在普通领域的各种多模态数据集上进行预训练,然后迁移到胸部 X 光域。通过将各种特定于域的任务统一到简单的序列到序列模式中,使模型能够有效地从领域中有限的 - 基于特征表示的顺序注意力源识别
提出了一种基于序列到序列的方法 TGASI,采用归纳学习思想以区分不同时间戳中不同预测源的重要性,并通过设计的时间注意机制来提高在不同场景下源定位的准确性和可扩展性。
- ACL多语言编码器和 Seq2Seq 模型的顺序预训练配方
本研究通过将基于编码器和基于序列到序列模型初始化来提高预训练效率,并展示了这种双阶段方法可以获得多语言编码器和序列到序列模型的表现,同时减少了总计算成本约 27%。
- 文本到表格生成的序列 - 序列与集合模型
本文介绍了一种用于文本到表格生成的新模型,该模型在考虑到多行中的大多数组合不敏感的情况下,首先采用文本编码器编码输入文本,再加入了一种表头生成器来以序列生成的方式输出表头,之后再使用具有可学习的行和列嵌入的表体生成器并行生成一组表身行,实验 - mmT5: 模块化多语言预训练解决源语言幻觉
为解决多语言下序列到序列模型生成不准确的问题,提出一种模块化多语言序列到序列模型 mmT5,通过使用语言特定模块来消除语言特定信息和语言无关信息之间的差异,并发展有效的零 - shot 迁移策略,成功提高了语言生成准确性和模型性能。
- 端到端逐步增量式语音理解的序列级知识蒸馏
该研究提出了三种知识蒸馏方法,通过应用于声音编码器 (audio-KD) 和解码器 (tok-KD 和 seq-KD) 以解决神经网络在非稳态环境下学习新概念的问题,特别应用于连续学习等领域的口语理解问题。结果表明,seq-KD 可以显著提 - ACL在抽象摘要中平衡词汇和语义质量
本文针对序列到序列的神经网络中常见的曝光偏差问题,提出了一种在词法和语义质量之间平衡的重排序方法,并以 BERTScore 为衡量标准,在 CNN/DailyMail 数据集上实现了新的最优表现。
- Musketeer (All for One, and One for All): 具有任务解释提示的通用视觉语言模型
介绍一种名为 Musketeer 的序列到序列的视觉语言模型,其参数在所有任务之间进行全面共享,通过一种新颖的功能任务解释提示(TEP)促进跨异构任务之间的知识整合,从而实现了单个模型在多个任务上几乎均匀地达到了与单任务强基线相当或更好的结 - 神经机器翻译系统上的情感感知对抗攻击
本篇研究探讨了针对神经机器翻译(NMT)系统的对抗性攻击,通过输出感知角度考虑潜在的攻击方式,实验结果表明 NMT 系统输出序列的情感感知可以被显著改变。