- 从 RAG 到 RICHES:检索交织序列生成
RICHES 是一种新颖的方法,通过在检索和序列生成任务中交替进行,消除了传统 RAG 系统中分离的检索器和生成器的需求,通过编码内容直接检索文档并在语料库上进行约束。统一检索与生成使我们能够仅通过提示适应多样化的新任务,而不需要额外的训练 - ACLPLaD: 偏好基的大型语言模型压缩与伪优选对
本研究提出了一种名为 PLaD 的基于偏好的大型语言模型蒸馏框架,通过利用教师模型与学生模型之间的容量差异生成伪偏好对,使用排名损失重新校准学生模型对序列概率的估计,从而使学生模型更好地理解输出质量的相对优劣,而不是简单地模仿教师模型。通过 - CVPRLane2Seq: 通过序列生成实现统一的车道检测
通过序列生成任务,提出了一个新的车道检测框架 Lane2Seq,它能够统一各种车道检测格式,并使用简单的交叉熵损失函数,同时还引入增强学习来提高模型的性能。实验结果显示,该简单的序列生成范式不仅能够统一车道检测,还在两个基准数据集上取得了竞 - 狄利克雷流匹配及其在 DNA 序列设计中的应用
离散扩散或流模型能够实现比自回归模型更快、更可控的序列生成。本文通过基于狄利克雷分布混合的概率路径,在平凡上的 na"ive 线性匹配流上开发出狄利克雷流匹配模型,以克服训练目标中的不连续性和进一步的病理问题,从而实现分类器或无分类器引导。 - 通过对抗训练学习全局优化的语言结构
提出了一种针对文本的对抗训练策略,通过扰动自回归模型生成的文本来生成负样本,并证明该策略可以显著提高离散能量基模型的生成质量。
- 用于自监督编码器 - 解码器语音模型的提示和适配器调整
通过在 Wav2Seq 模型上进行提示和适配器调优,我们在序列生成任务中取得了显著的成果,尤其在 ASR 的词错误率和槽位填充的 F1 分数上相对于往前的工作分别提高了 53% 和 27%。在 7 种语言中,当可训练参数有限时,提示和适配器 - ASAP: 复杂机器人装配的自动序列规划与物理可行性
ASAP 是一个基于物理规则的计划方法,能够自动生成复杂产品组装的物理可行序列。ASAP 通过考虑重力、局部支撑等因素,利用高效的树搜索算法确定组装序列,具备优秀的物理逼真性能,并适用于模拟和真实世界机器人设置。
- ESRL: 高效基于采样的序列生成的强化学习
通过引入两阶段取样和动态取样方法,我们提出了一种提高强化学习中序列生成模型取样效率的方法。我们在传统的序列生成任务上进行了实验,包括机器翻译和摘要生成。实验结果表明,这种高效取样的强化学习方法 ESRL,在训练效率和内存消耗方面都优于基线方 - SequenceMatch: 带回溯的自回归序列模型的模仿学习
研究提出了一个名为 SequenceMatch 的方法,将序列生成问题转化成了一种模仿学习问题,并采用回溯策略和特定的训练目标以优化文本生成过程中的错误,经实验证明,该方法在语言模型的文本生成任务中比 MLE 更加优秀。
- RxnScribe: 化学反应图解析的序列生成模型
本文介绍了 RxnScribe,一种用于解析不同风格反应图的机器学习模型,使用序列生成方法,将传统操作流程压缩为端到端模型,通过交叉验证,在 1,378 个图表数据集上获得了 80.0% 的软匹配 F1 分数,并且表现显著优于以前的模型。
- 混合专家语言 GAN 的改进训练
本研究提出利用混合专家与特征统计对齐方法,提高生成对抗网络在语言模型中的表示能力并改善生成数据的学习信号,从而在文本生成任务中取得了更优异的性能。
- AAAI关系抽取的标签增强序列生成
本研究提出了一种改进的 Seq2Seq 模型(RELA),在关系抽取中应用自动标签扩充的文本生成技术,即以关系名或其同义词作为生成目标,并分析了该模型的行为。实验结果显示,相比先前的方法,RELA 在四个关系抽取数据集上取得了竞争性结果。
- Diff-Glat: 并行序列到序列学习的扩散环视变换器
Diff-Glat 是一种采用模态扩散过程和残差凝视训练的非自回归模型,旨在解决多模态数据建模困难问题,相较于自回归变换器,Diff-Glat 在解码效率和准确性方面均表现出卓越的性能。
- 通过学习自我纠正生成序列
本文介绍了一种称为 Self-Correction 的方法,该方法可以用于解决序列生成应用中存在的语义约束问题,该方法通过将完美的基本生成器与学习逐步纠正其输出的单独的纠正器分离来实现。我们证明,即使纠正器比基本生成器小得多,在数学程序合成 - AAAIKnowGL: 从文本中生成和链接知识
使用预训练的序列生成模型将文本转换成符合给定知识图谱(如维基数 据)的结构化关系数据表示形式,并生成实体标签、实体类型及它们之间的关系, 同时建立了一个网站应用程序以帮助用户从文本信息中提取语义关系数据。
- EMNLPSubeventWriter: 带连贯性控制的迭代子事件序列生成
本文提出一种新的无序过程的子事件生成任务来评估子事件动作和对象的连贯性,针对该问题设计了一个带有连贯性控制器的子事件序列生成框架,通过迭代地在每个迭代中生成一个子事件来构造子事件序列。实验结果表明,该方法可为无序过程生成更可靠和有意义的子事 - 通过预训练将事件检测和字幕生成统一为序列生成
本文定义了事件检测为序列生成任务,提出了一种统一的预训练和微调框架,以自然地增强事件检测和字幕生成之间的相互关联。实验结果表明,我们的模型优于最先进的方法,并且在额外的大规模视频文本数据上进行预训练可以进一步提升性能。
- COLING端到端密集视频字幕生成
本文提出一种联合建模的方法,将稠密视频字幕的两个子任务共同作为一个序列生成任务,同时预测事件和相应的描述,并使用 YouCook2 和 ViTT 的实验结果表明了该方法的可行性和在大规模预训练模型中集成端到端密集视频字幕等复杂任务中的适用性 - SIGIR层次文本分类的约束序列到树生成
本文提出一种基于序列生成的序列到树框架(Seq2Tree)用于建模层次标签结构的方法,在约束解码策略的基础上,使用动态词汇来保证结果的标签一致性,相较于以往的方法,在三个基准数据集上实现了显著且一致的改进。
- 基于序列生成的无模式依存句法分析
本文提出使用预训练语言模型 (PLM) 通过序列生成 (DPSG) 实现通用且无模板的依存解析 (DP),可以实现单模型下句法 DP 和语义 DP,并具有多方案解析功能,与现有方法相比在多个基准任务上表现相当甚至更好。