ACLMay, 2022

利用预训练语言模型简化自我追踪的自然语言交互

PDF
TL;DR提出了一种基于 NLP 和 GPT-3 的领域不可知的自然语言交互框架，可以从自述性的日志文本中提取信息，解决了自我追踪设计空间广阔且追踪主题和数据格式多样化的挑战。研究显示，该方法明显优于基线 QA 模型，为未来 NLP 与 HCI 领域的合作提供了前景。
发现论文，激发创造
  • 自主驱动的语言模型从零开始的最小人工监督自我对齐

    研究提出了 SELF-ALIGN 方法，利用少量人工监督和结合原理驱动推理和 LLM 的生成能力，实现 AI 助手的自我对齐，减少人工监督的依赖，获得更好的性能，开发了 Dromedary AI 助手。

    May, 2023

  • 语言模型中的实体跟踪

    本文探讨了大语言模型在跟踪实体状态和关系变化方面的能力，发现只有预训练于大量代码的 GPT-3.5 模型具有此能力，而使用预训练于文本的较小模型进行微调后也可以完成一定程度的实体追踪。但这种能力不仅取决于模型的大小，大文本库的预训练也不是必要条件。

    May, 2023

  • 利用预训练语言模型进行从文本中获取对话式信息检索

    本论文研究了利用上下文学习和预训练语言表示模型来解决过程描述文档中信息提取的问题，与原生 GPT-3 模型一起，通过注入概念定义和少量样本进行了两个上下文学习操作。研究结果显示了该方法的潜力和上下文学习的有用性，同时也指出了控制流关系所带来的挑战。

    Mar, 2022

  • 运用 GPT-3 驱动教学代理系统培养儿童的好奇心提问技能

    本研究借鉴自然语言处理和大型语言模型相结合的方法，采用自然文本提示来制作课程内容，有效提高了儿童好奇心问题的生成能力，同时发现开放式训练内容更适合培养好奇心问题发现的技能。

    Nov, 2022

  • 语言模型是少样本学习器

    在大规模预训练语言模型上进行 fine-tuning 可以显著提高模型在 NLP 任务中的任务值线表现，同时还证明了 scaling up 语言模型可以大大改善任务独立的 few-shot learning 表现，并探讨了 GPT-3 模型优势和局限性。

    May, 2020

  • 利用大型语言模型为主题元数据添加注释：澳大利亚国家研究数据目录的案例研究

    本文介绍了一种基于大型语言模型的上下文学习方法，通过 GPT-3.5 和为主题元数据注释设计的提示，实现了自动元数据注释，在一些类别中表现出有前景的性能。

    Oct, 2023

  • 利用自然监督进行语言表示学习和生成

    本论文研究了三个方面的工作：如何提高预训练模型在 NLP 任务中的性能，在维基百科和释义上利用语言结构以提取知识，以及定制文本资源以建立挑战性的评估任务。

    Jul, 2022

  • 运用大型语言模型强化聊天机器人以搜集用户自报数据

    本研究旨在探讨如何设计自然语言提示以使聊天机器人能够自然地进行对话，从而可靠地收集用户自报数据。通过在线研究（N = 48），我们通过不同的自然语言提示设计和对话主题对聊天机器人进行了评估，并发现提示设计和主题显着影响了对话流程和数据收集表现。

    Jan, 2023

  • 通过知识蒸馏和优化训练策略提高自然语言处理任务性能的大型语言模型

    该研究将大型语言模型（LLMs）如 GPT-4 与传统自然语言处理（NLP）任务相结合，利用思维链（CoT）提示技术从 GPT-4 中提取知识，并应用于改进较小模型 BERT 在命名实体识别（NER）任务中的效率和效果。通过采用两阶段训练过程，该方法在预训练阶段使用 GPT-4 标注数据，并结合蒸馏和原始人标注数据来完善模型。结果表明，我们的混合训练策略明显优于仅使用人工标注的模型，达到了更高的 F1 得分，并展示了在资源有限或封闭网络环境下的成本效益解决方案。研究还讨论了遇到的挑战，如 LLM 输出的可变性和偏向幻觉，提出了改进提示设计和注释选择的未来工作方向。我们的发现显示出 LLM 洞察力与传统 NLP 技术之间的有希望的协同作用，为更易于接近和强大的 NLP 应用铺平了道路。

    Feb, 2024

  • 自问自答：无监督知识引导的语言模型对齐

    本文介绍了一种称为 Self-QA 的创新框架，利用大量无监督知识代替传统的人工撰写指导文件种子，从而生成更多正确和特定于领域的指导数据，以克服创建用于指导调整的监督配对问答数据所面临的挑战。

    May, 2023