ACLMay, 2020

Span-ConveRT: 预训练对话表示的少样本对话片段抽取

PDF
TL;DR介绍了一个轻量级的模型 Span-ConveRT，用于对话槽填充，任务被视为基于轮的跨度提取。该模型通过与大型预训练对话模型（如 ConveRT）中编码的对话知识的简单集成，允许在少样本学习场景中取得一致的收益。此外，还发布了由真实餐厅预订对话编制的具有挑战性的新数据集 RESTAURANTS-8K，以激励更多的跨度提取对于槽填充任务的研究。
发现论文，激发创造
  • ConveRT: 基于变形金刚的高效和准确的对话表示

    提出了一种名为 ConveRT 的预训练框架用于对话任务，其采用一种检索式的响应选择任务来预训练轻量级双编码器，能够实现在显著提高性能的同时降低模型大小，进而应用于广泛的对话任务和意图分类任务中。

    Nov, 2019

  • 利用检索到的样本进行少样本意图分类和槽填充

    本文探讨了如何在缺乏足够资源的情况下，通过基于检索的方法完成少量样本学习并用于意图分类和填槽任务。我们提出了一种基于跨度级别检索的方法，通过一种新颖的批次 - softmax 目标函数，在相似的具有相同标签的跨度之间学习上下文化表示。我们的方法在 CLINC 和 SNIPS 基准测试中超过了先前的系统。

    Apr, 2021

  • 面向文档对话的级联跨度提取和响应生成

    本文总结了我们对第一个 DialDoc 共享任务两个子任务的参与，重点是目标导向的文档基础对话中代理响应预测任务。我们采用限制的有效跨度数据集，利用双仿射分类器模拟跨距，最后使用不同模型的集合。在第二个子任务中，我们采用级联模型，它在预测跨度而不是整个文档时进行响应预测。通过这些方法，我们在两个子任务中相比基线都获得了显着的改进。

    Jun, 2021

  • ConVEx: 数据高效率的、小样本插槽标注

    我们提出了 ConVEx（面向对话任务的槽标记对话值提取器），通过 Reddit 数据上的新颖成对填空任务的预训练目标，实现序列标记任务的领域特定槽标记器的学习，并在保持预训练模型的大多数参数固定不变的情况下，仅通过微调预训练的通用序列标记模型的解码层来实现。

    Oct, 2020

  • ConSERT：自监督句子表示转移的对比框架

    本文提出了一种对 BERT 进行自监督 fine-tune 的对比学习框架 ConSERT，通过利用无标签文本解决 BERT 生成句子表示时的崩溃问题，进而提高了 sentence representations 的应用性能，实验结果表明在 STS 任务上优于之前的 SOTA 达 8%，并且在与 1000 份样本的情况下表现稳健。

    May, 2021

  • CONVERSER：基于合成数据生成的小样本对话稠密检索

    使用 CONVERSER 框架，在最多 6 个领域对话示例的情况下，利用大规模语言模型的上下文学习能力为基于对话的密集重排进行训练，实验结果表明所提出的框架在少样本对话密集重排中取得了可比较的性能。

    Sep, 2023

  • 文本跨任务跨度表示的分析

    本文通过对六种跨度表示方法和八个预训练语言模型在六个任务中的综合实证评估，发现即使有些简单跨度表示在多个任务中相对可靠，但一般来说最优跨度表示方法因任务而异，也可能因不同任务的不同方面而异。同时，我们还发现，与精细调整的编码器相比，跨度表示的选择对于预先训练的编码器具有更大的影响。

    Jun, 2020

  • 学习循环跨度表示与摘要式问答

    本文针对 SQuAD 数据集所提出的答案抽取任务，通过循环网络有效地构建了证据文档中所有跨度的固定长度表示，证明对显式跨度表示进行评分显著优于其他方法，并在 Wang＆Jiang（2016）的最佳已发布结果上提高了 5％，并且将 Rajpurkar 等人的基线误差减小了 50％以上。

    Nov, 2016

  • 学习桥接度量空间：少样本联合学习意图检测和槽位填充

    本文研究了针对对话语言理解的 few-shot 联合学习，提出了一种基于相似度的 few-shot 学习方案 ConProm, 能够从少量样例捕捉任务关系并联合学习多个任务。在 Snips 和 FewJoint 两个公开数据集上的实验结果表明，该方案表现出比强基线模型更好的性能。

    May, 2021

  • 基于动态跨度图的信息抽取通用框架

    介绍了一个通用的框架，用于多个信息提取任务，共享动态构建的跨度图表示，该图由选择最可靠的实体跨度所构成，并使用置信度加权关系类型和共参考建立节点，从而实现共参考和关系类型置信度通过图传播迭代地细化跨度表示，与以前的多任务信息提取框架不同，我们的框架显著优于多个数据集上的多个信息提取任务的最新水平，涵盖了不同的领域。另外，我们观察到跨度枚举方法在检测嵌套跨距实体方面表现出色，在 ACE 数据集上 F1 分数显著提高。

    Apr, 2019