- CVPRSeqTrack:用于视觉目标追踪的序列到序列学习
本论文提出了一个新的序列到序列学习框架 SeqTrack 来进行视觉跟踪,将视觉跟踪作为一个序列生成问题,该问题可以在自回归的基础上预测物体的边界框,SeqTrack 架构只采用一个简单的编码器解码器变压器架构,并在多个基准测试上达到了竞争 - 将图像特征与卷积序列到序列网络相结合,用于多语言视觉问答
本研究利用已预训练的最新 VQA 模型和卷积序列到序列网络整合图像特征,作为 VLSP2022-EVJVQA 多语言场景下,视觉问答任务的解决方案,在公共测试集上达到了 F1 分数 0.3442,在私人测试集上达到了 0.4210,排名第三 - 文本生成的动量校准
本文提出 MoCa (动量校准) 方法解决文本生成任务中的曝光偏差问题,通过动量滑动平均产生缓慢演化的样本生成器,与实际样本质量对齐,实验表明在 CNN/DailyMail 和 SAMSum 数据集上实现了最优结果。
- 情感感知的 Transformer 编码器用于共情对话生成
该研究提出了一种基于情感感知的 Transformer 编码器,用于生成类人的同情回应,将语义和情感方面集成到输入话语中。在 Facebook AI 共情对话数据集的实验中,该模型相比现有方法生成的回应具有更高的 BLEU-4 得分,这表明 - BLISS: 基于自监督输入表示的强健序列到序列学习
本文提出了一种名为 BLISS 的架构级强韧序列到序列学习方法,通过自监督输入表示具有潜在的补充数据级扩充方法的潜力,在各种任务中得到验证,包括机器翻译,语法纠错和文本摘要。
- 基于潜在神经语法的序列到序列学习
本研究使用状态转移机器学习估计序列之间的译码方法,通过探索序列到序列学习的等效问题,其考虑到一种基于准同步文法的层次序列到序列方法,在各种应用中达到了合理的性能。
- 物理知识指导神经网络的可能失效模式表征
本文研究了物理知识对神经网络的影响,尤其是对物理意义的学习。研究发现,使用以前的方法,神经网络会容易受到微妙的问题的困扰。为了解决这个问题,我们提出了课程规范化和序列到序列学习两种新的方法。通过使用这两种方法,我们可以取得比以前更好的结果。
- ACL探索与利用:提高中文拼写纠正模型的两种方式
本文介绍了一种利用序列到序列学习和神经网络的方法来进行汉语拼写纠错,通过不断发现模型的弱点生成更有价值的训练实例并进行任务特定的预训练,逐步将生成的对抗性示例添加到训练集中的对抗性训练方法,可以提高多个 CSC 模型的泛化能力和鲁棒性,达到 - 使用预训练 Transformer 生成错误修复
DeepDebug 是数据驱动的程序修复方法,其可以从 GitHub 代码库中挖掘的实际 Java 方法中学习检测和修复错误的方法。通过将错误修补构建为序列到序列的学习任务,它实现了两个步骤,即去噪预训练和有监督的微调。本方法显示出比以前的 - ICLR通过课程学习生成长期跟音乐舞蹈的 Dance Revolution
本文提出了一种基于序列到序列学习的音乐条件舞蹈生成方法,通过设计一种课程学习策略,使其在长时间序列生成过程中减轻自回归模型中的误差积累,从而有效地捕捉音乐和舞蹈之间的微观对应关系,实验结果表明,该方法在自动度量和人类评估等方面明显优于现有技 - ACL智能待办:从电子邮件自动生成待办事项
本文介绍了一个名为 Smart-To-Do 的新应用程序,它通过新建任务和数据集,利用神经文本生成和序列对序列学习的最新进展,从电子邮件中自动生成待办事项,是首个解决此问题的工作。
- 正确我吧:从错误纠正和标记中学习
该论文通过研究 TED 演讲的翻译数据,提出使用错误标记的标注模式可以更加高效地训练神经机器翻译模型,同时保证较高的信号强度和良好的标注代价。
- EMNLP通过重新引用源文本进行抽象文档摘要的预训练
该论文提出了三个预训练目标,并基于未标记的文本对 Seq2Seq based abstractive summarization model 进行预训练,从而在有限的监督 summarization data 上改进其性能,这三个目标与 a - EMNLP基于 Transformer 建模图形结构以提升 AMR-to-Text 生成
本文研究针对 AMR-to-text generation 的问题,提出了一种新颖的基于自注意力机制的模型,用于更好地模拟 AMR 图中间接连接概念之间的关系。通过实验在英语 AMR 基准数据集上展示了该模型明显优于现有模型的效果,成绩达到 - 主题扩充生成器用于抽象化摘要
该研究提出了一种新的解码器,通过条件调整文本和文档的潜在主题来生成摘要,使用 LDA 等主题模型揭示了更多的全局语义信息,使解码器能够访问文本语料库级别的词共现统计信息,实验表明,与现有模型相比,该方法能显著提高 ROUGE 分数。
- 卷积长短时记忆多业务移动流量预测
本文提出了一种基于序列到序列学习(S2S)和卷积长短时记忆(ConvLSTMs)的方法,用于解决多服务移动流量预测问题,实验表明该方法能够准确地预测不同服务在城市层面上未来一小时的需求量,其平均绝对误差低于 13KBps,并且优于其他深度学 - SequenceR: 端到端程序修复的序列到序列学习
本文以序列到序列学习为基础,提出了一种全新的端到端程序修复方法。通过利用复制机制克服大型代码中出现的无限词汇问题,使用数据驱动的 SequenceR 系统在开放源代码上进行了评估和评测,有效地从 Defects4J 基准中找到正确的补丁。
- AttS2S-VC:具有注意力机制和上下文保留机制的序列到序列语音转换
本研究提出一种基于注意力机制和上下文保留机制的序列到序列学习(Seq2Seq)方法,用于语音转换(VC)任务。该方法稳定加速了训练过程,并且不需要预先对源和目标语音数据进行时间对齐。在实验中,与高斯混合模型(GMM)和循环神经网络(RNN) - EMNLP学习总结放射学发现
利用神经序列到序列学习自动化生成放射学诊断报告中印象部分,比现有基线效果更好,在盲测实验中 67% 样本的系统汇总得分至少和人类汇总得分一样高。
- AAAI神经响应生成模型为什么更倾向于使用通用回复?
该研究分析了基于序列到序列学习的生成回复任务的神经模型容易产生短而通用回复的问题,并通过分解黑匣子,详细分析了概率极限问题并提出了最大间隔排名正则化方法来避免模型偏向于这些回复,并通过实证实验验证了该方法的有效性。