May, 2024

DEPTH：分层预训练的议程教育

PDF
TL;DR深度是一个编码器 - 解码器模型，通过在预训练过程中引入面向语篇的目标来提高语言模型在语篇层面上的理解能力。通过结合层次化的句子表示和两个目标：句子重排和跨度破坏，深度能够更快地学习语义和语篇级别的表示，从而拓展了 T5 在语篇能力方面的表现。
language modelsdiscourse understandingdepthencoder-decoder modelpre-training
发现论文，激发创造
  • 两个基于语篇的语言模型用于语义

    本文提出了两个模型，即语义链模型和话语信息模型，并探究了四种实现方式。通过在语义自然语言处理任务中进行实验验证，证明我们的语义语言模型（SemLM）可以提高共指消解和话语分析等性能。

    Jun, 2016

  • 预训练如何改善基于语篇的翻译？

    本研究探讨了预训练语言模型在捕捉篇章关系上的能力，并通过探究任务验证了不同架构和层数的 PLMs 的表现，得出了对于不同 NMT 任务在何种情况下使用不同层的 PLMs 是最好的决策。

    May, 2023

  • SLM：使用句子重排学习语篇语言表示

    通过自我监督的方式，我们提出了句子级别的语言建模作为新的预训练目标，通过打乱输入句子的顺序训练用于重构原始顺序的分层 transformer 模型以鼓励中型结构的学习，进而提高原 BERT 模型的性能。

    Oct, 2020

  • 文档连贯性建模评估

    在理解预训练语言模型对话建模能力方面，我们提出了一种句子入侵检测任务，并在英语方面检查了一系列预训练 LM 的性能。我们通过构建包含英语维基百科和 CNN 新闻文章的 170,000 + 文档的新型入侵句子检测数据集 INSteD，显示预训练 LM 在域内评估中表现出色，但在跨域设置中经验了大幅下降，表明其对跨域推广的能力有限。进一步的，在一个新的语言探测数据集上的结果表明，在跨域设置中有很大的改进空间。

    Mar, 2021

  • 预训练语言模型的话语探测

    本文使用七种预训练语言模型，运用七种篇章探测任务，将研究重点从句子级别上升到文档级别上，最终发现 BART 是捕获篇章信息能力最好的模型，但只有其编码器部分表现最佳，BERT 作为基准模型也出奇地表现良好，并且不同层次的模型对篇章信息的刻画效果，以及模型之间的差距巨大。

    Apr, 2021

  • 多方对话语篇分析的深度顺序模型

    本文提出了一种深度顺序模型，用于解析多方对话的话语依赖结构，并利用预测的依赖关系和结构类型共同和交替地构建话语结构，实现基于序列扫描的话语依赖树构建。实验结果表明，该模型的性能优于所有最先进的基线。

    Dec, 2018

  • 针对预训练和微调语言模型的大规模语篇结构理解

    本文针对预训练和微调语言模型中的语篇信息进行了深入分析，提出了一种新颖的推断语篇结构的方法，探讨了 BERT 和 BART 模型中内在语篇理解的精确性，同时评估了生成的结构与多种基准模型的相似性以及它们在模型内部和模型之间的分布。

    Apr, 2022

  • 利用预测编码增强 BERT 模型以提高语篇级别表征

    本文将预测编码理论引入 BERT 风格语言模型，以学习适当的语篇水平表示，实现了通过中间层进行顶部到底部的明显连接预测未来的句子，从而在语篇相关知识的基准测试中提高性能，特别是在语篇关系检测方面。

    Sep, 2021

  • 通过建模句子级和语篇级连贯性进行长文本生成

    该论文提出了一种基于预训练的长文本生成模型，通过预测句子间语义相似度和区分正常和洗牌句序的两个预训练目标来学习句子和语篇级别的表示，从而能够生成比现有技术更加连贯的文本。

    May, 2021

  • 对话理解的结构预训练

    本文提出了结构化预训练对话阅读器 SPIDER，通过两个训练目标相结合以捕获对话独有的特征，即复原语音顺序和句子骨干规则化，实现了从对话文本中有效地捕获任务相关知识，并在广泛使用的对话基准测试中取得了显著的实验结果。

    May, 2021