AAAIMar, 2019

一种用于预测集合值输出的顺序集合生成方法

PDF
TL;DR本文提出了一种新的机器学习框架 —— 顺序集合生成 (SSG)，可以处理标签和序列输出集。通过采用适当正则化和循环生成新标签或序列以生成完整集合，SSG 在性质上顺序不敏感且适用于各种集合输出问题，如分类标签或序列。实验结果表明，SSG 对于基准方法具有良好的性能。
发现论文，激发创造
  • 顺序很重要：面向集合的序列对序列模型

    本文扩展了 seq2seq 模型，实现了对输入集的合理处理以及通过搜索可能的排序来处理输出集的缺乏结构，并提出相应的解决方案，最终在多项自然语言处理任务和两项人工任务中取得了良好的结果。

    Nov, 2015

  • SGM: 多标记分类的序列生成模型

    本文提出将多标签分类任务视为序列生成问题，并应用具有新型解码器结构的序列生成模型来解决这个任务，实验结果表明我们的建议方法大大优于以前的工作，同时分析实验结果表明建议方法不仅捕捉标签之间的相关性，而且在预测不同标签时自动选择最有信息的词。

    Jun, 2018

  • 使用 Seq2seq 模型生成有条件的集合

    这篇文章提出了一种对于 Seq2Seq 模型的数据增强方法，称为 SETAUG，通过在输入序列中插入集合的大小信息并使用新的排列采样算法，有效地捕捉了集合元素的次序等不变性和基数属性。在进行试验后，这种方法实现了平均相对改进 20％，适用于 BART、T5 和 GPT-3 等多种不同模型。

    May, 2022

  • 使用顺序输出统计的无监督序列分类

    本文提出了一种无监督学习成本函数，应用于序列分类器中，采用随机原始 - 对偶梯度法建模并优化，实现了端到端的无标注学习，实验表明该方法与其他基线方法相比具有更高的错误纠正能力。

    Feb, 2017

  • 基于统一框架的集合分类概述

    通过一个统一的统计框架来回顾多种基于集合值分类的公式，提供了可扩展的策略和构建数据驱动算法的方法，并在真实数据集上进行实验和提供一般的实用指导。

    Feb, 2021

  • 顺序有关：针对视频预测的乱序序列生成

    本研究提出一种名为 Shuffling sEquence gEneration Network (SEE-Net) 的模型，通过打乱视频帧的顺序并将其与真实视频序列进行比较来学习区分非自然的顺序信息，从而提升了视频预测的效果，实验结果表明该模型在合成和实际场景视频上的表现都优于其他先前的方法，其具有生成更加真实的内容，顺序信息对于视频生成至关重要的特点。

    Jul, 2019

  • 深度集合预测网络

    提出一种针对无序集合的预测模型，解决了现有方法忽视集合结构和存在的不连续性问题，通过单个特征向量可实现点集的自编码、图像中物体边框的预测以及物体属性集合的预测。

    Jun, 2019

  • 使用随机计算图形式化方法优化序列对序列模型

    利用随机计算图形式化了一种以别名函数为损失函数的机器翻译优化问题，提供了统一的视角，可以帮助研究人员开发带有内嵌随机节点的新网络架构。

    Nov, 2017

  • 连续时间下集合序列的概率建模

    连续时间中的神经标记时间点过程为连续时间事件数据的统计参数模型工具箱增添了有价值的内容。本文提出了一个通用框架，用于建模连续时间中的集合值数据，并开发了适用于任何基于强调的递归神经点过程模型的推理方法。在四个真实世界数据集上进行系统实验，通过对基于集合的序列进行重要性抽样，证明了效率大幅提升。通过展示如何使用该框架来执行不涉及一步预测的似然度进行模型选择。

    Dec, 2023

  • 文本到表格生成的序列 - 序列与集合模型

    本文介绍了一种用于文本到表格生成的新模型，该模型在考虑到多行中的大多数组合不敏感的情况下，首先采用文本编码器编码输入文本，再加入了一种表头生成器来以序列生成的方式输出表头，之后再使用具有可学习的行和列嵌入的表体生成器并行生成一组表身行，实验结果表明，此模型优于基线，达到了公认的数据集上的最佳性能。

    May, 2023