Dec, 2020

RPT: 关系预训练变换器几乎满足数据准备民主化的所有需求

PDF
TL;DRRPT 是一种加噪自编码器，可用于元组到元组模型的预训练。它采用了一种基于 Transformer 的神经翻译架构，可推广 BERT 和 GPT，并可支持数据准备任务，例如数据清理，值规范化，数据变换和数据注释等。此外，它具有 fine-tune 和 few-shot learning 等技术，并提出了一系列研究机遇，以推动数据准备领域的发展。
发现论文，激发创造
  • 机器人传感运动预训练学习

    该论文提出了一种自监督的感知动作预训练方法，称为 RPT，使用转换器操作传感动作令牌的序列，能够处理 latent 视觉表示，能够扩展到 10 倍大型模型，并可在真正的机器人上实现 10 Hz 的推断。

    Jun, 2023

  • 自检索的长距离语言建模

    本文中，我们提出了一种用于从头开始联合训练检索增强语言模型的架构和训练流程，名为 Retrieval-Pretrained Transformer（RPT），并使用四个长程语言建模任务进行了评估，横跨图书、代码和数学写作，证明了与强基线相比，RPT 改善了整体的检索质量和困惑度。

    Jun, 2023

  • 使用预先训练的 Transformer 语言模型对远程监督关系提取进行微调

    本文介绍了利用预训练语言模型 GPT 进行远程监督关系抽取，通过 fine-tuning 在 NYT10 数据集上实现了更多种类关系的高准确率预测，AUC 分数达到了 0.422，并且在高召回率水平下表现尤为出色。

    Jun, 2019

  • 预训练图像处理 Transformer

    本论文主要研究了低层级计算机视觉任务（如去噪、超分辨率和去雨等），并开发了一种新的预训练模型 —— 图像处理变压器（IPT），通过 ImageNet 基准测试产生大量的损坏图像对，训练 IPT 模型并成功地在不同的图像处理任务上产生了良好的结果。

    Dec, 2020

  • 监督预训练可学习上下文强化学习

    在这篇论文中，我们通过引入和研究 Decision-Pretrained Transformer（DPT）并展示它在上下文感知机器人决策中的运用，证明了大型变形机模型在多个数据集上的上下文学习能力，同时实现了对决策问题的研究及基于贝叶斯后验采样的跨任务性能。

    Jun, 2023

  • PointGPT：基于点云的自回归生成预训练

    提出了 PointGPT 方法来扩展 GPT 模型到点云中进行自回归生成任务的预训练，其通过多个点序列来实现学习潜在的表示，并在各种下游任务中实现了最先进的性能，特别是在 few-shot 学习方面也产生了新的 state-of-the-art 结果。

    May, 2023

  • 使用去噪预训练和数据增强策略提升 RDF 变换器的口头表述

    本研究旨在通过使用数据增强策略，利用 Transformer 模型的预训练技术来促进自动 RDF 到文本的生成。结果表明，相较于标准训练，已知类别、未知实体和未知类别的 BLEU 分数相对增加了 3.73%、126.05% 和 88.16%。

    Dec, 2020

  • 定向无环 Transformer 预训练用于高质量的非自回归文本生成

    提出一种 Pre-trained Directed Acyclic Transformer（PreDAT）和新颖的预训练任务来促进 NAR 生成中的预测一致性。在五个文本生成任务上的实验表明，PreDAT 明显优于现有的预先训练的 NAR 模型（平均得分 + 4.2），甚至在基于 n-gram 的指标上比预先训练的自回归基线效果更好，并且吞吐量提高了 17 倍。

    Apr, 2023

  • CPT：一个针对汉语语言理解和生成的预训练不平衡 Transformer

    本文介绍了一种新型的中文预训练不平衡变压器（CPT），通过使用自然语言理解（NLU）和自然语言生成（NLG）之间的共享知识来提高性能，结合具有共享编码器的两个特定的解码器以及多任务预训练，CPT 能够学习与 NLU 或 NLG 任务相关的特定知识，并且可以被灵活地微调以充分利用模型的潜力。此外，不平衡变压器可以节省计算和存储成本，使得 CPT 具有竞争力并大大加速文本生成的推理。

    Sep, 2021

  • 利用 Transformer 网络有效实现实体追踪

    本研究探讨了在过程性文本中使用预训练的 transformer 网络跟踪实体的能力，发现通过调整输入结构，可以取得更好的实体跟踪结果，在配方中实现了材料检测以及在科学过程中进行了问答，达到了最先进的结果，但我们的模型仍然主要关注表面上下文线索，没有形成中间实体或进程状态的复杂表示。

    Sep, 2019