Aug, 2022

GenTUS: 基于生成式 Transformer 技术的任务导向对话中用户行为和语言模拟

PDF
TL;DR本文提出了一个基于生成式变形器的用户模拟器（GenTUS），它可以同时优化用户策略和自然语言生成，并生成语义动作和自然语言话语，保持可解释性和增强语言变异。它还利用大型预训练语言模型，将输入和输出表示为单词序列，从而实现特征表示的可泛化性。评估结果表明，GenTUS 生成的自然语言更真实，能够在没有先验知识的情况下转移到未见过的本体，并且可以通过强化学习进一步优化行为，从而为训练专门的用户模拟器打开了大门。
user simulatorsnatural language generationtask-oriented dialogue systemssemantic actionsgenerative transformer
发现论文，激发创造
  • 联合自然语言理解和生成的生成模型

    本研究提出一个通过共享潜变量将自然语言理解和自然语言生成相结合的生成模型，可在平面和树形形式表示的两个对话数据集上达到最先进的性能，并展示了该模型可以利用未标记数据进行半监督学习以提高其性能。

    Jun, 2020

  • UniGen: 一个面向检索和问答的统一生成框架，利用大型语言模型

    UniGen 是一种集成了生成式检索和问答功能的统一生成模型，通过使用大型语言模型，UniGen 采用一个共享编码器和两个不同的解码器，引入连接器来弥补查询输入和生成目标、文档标识符和答案之间的差距，并提出了一种迭代增强策略来通过生成的答案和检索的文档迭代地改进两个任务，在 MS MARCO 和 NQ 数据集上的广泛实验证明了 UniGen 在检索和问答任务中具有优越的性能。

    Dec, 2023

  • 用基于条件语义的 LSTM 自然语言生成技术用于口语对话系统

    本研究提出了一种基于语义控制 LSTM 结构的统计自然语言生成器，通过交叉熵训练标准优化句子规划和语言表现，可轻松实现语言变化，并通过两个不同测试域的客观评价和人工评分表明该方法相对于先前方法具有更好的性能和自然度。

    Aug, 2015

  • 生成以理解为基础的表征

    本文介绍了一种使用最长公共子串筛选相似文本对同时进行预处理和对比学习的预处理框架 GUR，无需标注数据即可在召回基准测试中以检索器的身份优于所有其他预训练基线。

    Jun, 2023

  • 生成式大型语言模型是全能文本分析引擎：文本对文本学习是您所需的全部

    通过基于生成型大型语言模型（LLM）的通用文本到文本学习架构和提示调优，解决主要的临床自然语言处理（NLP）任务，并提供了最新的性能。

    Dec, 2023

  • Genixer: 赋予多模态大型语言模型强大的数据生成能力

    通过创新的数据生成方法，Genixer 可以为不同任务生成高质量的多模态指令调整数据，从而改进现有的大型语言模型，在图像字幕和视觉问答等任务中取得了最先进性能，并为跨领域的创新应用提供了可能。

    Dec, 2023

  • 通过提示调整的大型语言模型进行医患对话的自动摘要

    通过 prompt 调整，使用生成式大型语言模型（LLMs）概括医生与患者对话，证明了生成式临床 LLMs 调整对于医学自动文摘系统的效率。

    Mar, 2024

  • 基于槽位的多模态对话系统中响应生成的统一框架

    本文提出了一种多模态对话系统的端到端框架，利用预训练的 DialoGPT，并利用知识库（Kb）提供更强的上下文信息来从话语中提取所需的插槽值和生成一致的响应，使用多模态层次编码器，并设计槽注意机制来聚焦于给定话语中的必要信息，最终实验结果表明，该框架在两种任务中优于基线方法。

    May, 2023

  • 自然语言理解和生成的双重监督学习

    该论文提出了一种基于双重监督学习的语言理解和生成学习框架，能够有效提高这两个任务的性能。

    May, 2019

  • 通过联合双重学习实现无监督语言理解与生成

    本文介绍了一个通用学习框架，以有效地利用自然语言理解和生成之间的双重属性，并提供灵活性，将监督学习和无监督学习算法组合起来，以共同训练语言理解和生成模型，并对该方法进行了基准实验，证明了其提高了自然语言理解和生成性能的能力。

    Apr, 2020