COLINGNov, 2020

数据高效建模的最佳实践：如何用更少的数据训练可用于生产的神经模型

PDF
TL;DR本文阐述了一种用于生产中的数据高效神经解决方案，其中包含一系列采样和建模技术，以实现仅使用部分数据便可达到轻量级神经网络模型的生成，进而提出了为生成生产级别 NLG 模型的最佳实践方法，可用于自然语言生成中。
发现论文，激发创造
  • 预训练语言模型用于简短文本自然语言生成

    该文提出了少样本自然语言生成（Few-shot natural language generation）任务，设计了基于内容选择和语言建模的模型架构，表现良好。

    Apr, 2019

  • 数据驱动的自然语言生成：通向成功之路

    本研究讨论了统计机器学习用于自然语言生成的商业应用的两个主要瓶颈：缺乏可靠的自动评估指标和高质量的领域内语料库。通过彻底分析当前的评估指标并提出需要新的更可靠的指标，我们解决了第一个问题。通过提出一种新的框架来开发和评估用于自然语言生成训练的高质量语料库，我们解决了第二个问题。

    Jun, 2017

  • 基于数据库的对话自然语言接口的高效部署

    研究使用对话式多轮数据的方法加速训练自然语言到查询语言的机器学习模型，旨在解决领域数据有限及集成过程繁琐耗时等问题。

    May, 2020

  • 神经数据转换为文本生成的创新

    本文调查了神经元数据到文本生成的方法、基准数据集和评估协议，突出了技术应用阶段及其在自然语言生成领域中的前景。

    Jul, 2022

  • 联合自然语言理解和生成的生成模型

    本研究提出一个通过共享潜变量将自然语言理解和自然语言生成相结合的生成模型，可在平面和树形形式表示的两个对话数据集上达到最先进的性能，并展示了该模型可以利用未标记数据进行半监督学习以提高其性能。

    Jun, 2020

  • 自然语言生成任务的实用生产策略探索

    提出一种自然语言生成系统设计的概念框架，以实现复杂的交际目标，并通过现代统计方法提供针对目标、成本和效用的具体建议。同时，倡导开发可以通过类人的方式推理目标、成本和效用的 NLG 系统。

    Oct, 2022

  • SkillNet-NLG: 一种稀疏激活法的通用自然语言生成器

    我们介绍了 SkillNet-NLG，一种稀疏激活的方法，可以处理多种自然语言生成任务。该方法与传统的密集模型不同，SkillNet-NLG 仅选择激活与任务相关的参数，这由一组预定义的技能控制。实验结果表明，SkillNet-NLG 可以胜任五项任务中的四项，并且优于两种多任务模型和任务特定模型，同时也在适应新任务时表现出色。

    Apr, 2022

  • 针对任务导向对话的少样本自然语言生成

    该论文提出 FewShotWoz 模型作为 Natural Language Generation 模块，使用 SC-GPT 模型进行预训练来实现带有有限数量 labeled data 的多领域适配，通过实验证明其效果显著优于已有方法。

    Feb, 2020

  • AUGNLG: 自训练数据增强的小样本自然语言生成

    本篇论文提出了一种名为 AUGNLG 的新型数据增强方法，将自我训练的神经内存模型与少量训练的神经语言理解模型结合起来，自动从开放领域的文本中创建 MR-to-Text 数据，以提高自然语言生成的效率并在 FewShotWOZ 数据上表现优异。

    Jun, 2021

  • 面向任务型对话系统的低资源自然语言生成元学习

    本文探讨了在低资源环境下生成新场景的句子，提出了基于元学习的通用优化方法（Meta-NLG）来解决这个问题，并在大型多域数据集上进行了实验，表明 Meta-NLG 在各种低资源配置中显著优于其他训练过程，适应低资源情况极快且良好。

    May, 2019