May, 2023

CONA：一种基于大型语言模型的上下文感知通信指令范例

PDF
TL;DRCONA 是一个灵活的框架，旨在利用大型语言模型的能力以及结合 DIKW 层次结构自动指导和优化演示内容，提供适应受众群体的上下文感知答案，是知识传播和交流领域中的一项创新工作，可以为日常知识共享场景提供有效支持。
conacontext-awaregenerative pre-trained transformer modelsdikw hierarchyknowledge dissemination
发现论文，激发创造
  • 概念感知数据构建改善语言模型的上下文学习

    通过概念感知训练框架构建训练场景，提高预训练变换器在上下文学习过程中利用新的潜在概念的能力，并使这种能力使得上下文学习对先前模型的功能性缺陷更具鲁棒性，相对于传统指令优化，在大多数新任务上具有更好的效果，并且训练数据规模相当的情况下，表现与先前的上下文学习模型相当。

    Mar, 2024

  • 概念感知训练提高语言模型的上下文学习能力

    文中介绍了一种名为 CoAT 的优化方法，利用模拟训练数据来帮助语言模型更好的利用其背景知识。使用 CoAT 训练的 In-context learners 性能表现良好，达到了在多任务训练中更大规模模型的性能水平。

    May, 2023

  • 用于上下文常识推理的对抗变换器语言模型

    本文利用 Transformer 模型及多种技巧，解决常识推理领域中缺乏可控性、训练时缺乏常识知识、推理出假命题等问题。通过引入 “提示” 技术控制推理，使用多个常识知识库进行联合推理，并运用 GAN 框架生成同时可信可控的常识命题。

    Feb, 2023

  • 利用预训练语言模型进行从文本中获取对话式信息检索

    本论文研究了利用上下文学习和预训练语言表示模型来解决过程描述文档中信息提取的问题，与原生 GPT-3 模型一起，通过注入概念定义和少量样本进行了两个上下文学习操作。研究结果显示了该方法的潜力和上下文学习的有用性，同时也指出了控制流关系所带来的挑战。

    Mar, 2022

  • CoCon: 一种自监督控制文本生成方法

    本文提出了一种被称为 CoCon 的内容控制器，可以在细粒度的水平上控制预训练的基于 Transformer 的语言模型以生成目标内容的自然语言文本，并通过实验证明了其有效性。

    Jun, 2020

  • CADGE：基于图结构知识聚合的上下文感知对话生成

    本文提出一种基于上下文感知的图注意力模型 (Context-aware GAT)，可以在知识聚合流程中有效地整合相关知识图的全局特征，并且优于传统基于图神经网络 (GNNs) 的语言框架。

    May, 2023

  • 链注：增强检索辅助语言模型的鲁棒性

    Retrieval-augmented language models (RALMs) with Chain-of-Noting (CoN) significantly improve the robustness in handling noisy, irrelevant documents and unknown scenarios, outperforming standard RALMs on open-domain QA benchmarks.

    Nov, 2023

  • CONDA：一份用于游戏内毒性理解和检测的语境双注释数据集

    本文介绍 CONDA 数据集，它是一个包含了来自 1.9K 完成的 Dota 2 比赛聊天记录的 12K 个对话和 45K 个话语的数据集，用于进行游戏中毒性语言的检测和自然语言理解。同时提出了一种鲁棒的双语义级毒性框架，能够处理话语和单词级别的模式和上下文历史。评估了针对 CONDA 的强 NLU 模型，提供了不同意图类别和插槽类别的细粒度结果，并通过与其他毒性数据集的比较检查了本数据集中毒性的覆盖范围。

    Jun, 2021

  • 基于上下文的可控数据增强技术在文本转 SQL 中的应用

    本文介绍了一种名为 ConDA 的数据扩充方法，通过交互式问题和相应的 SQL 结果生成数据，利用 SQL 对话状态增强数据多样性，同时利用基础模型确保数据质量。实验结果表明，ConDA 使基础模型的性能平均提升了 3.3％，且生成的数据质量较高。

    Apr, 2023

  • 理解人类对话的自动交互领域特定对话代理

    本文介绍了一种名为 AutoConcierge 的系统，该系统利用 LLMs 和 ASP 来开发一种可以真正 “理解” 人的对话的对话代理，从而在特定领域向用户提供有关当地餐厅的建议，是第一个能够像人一样进行真正对话并根据真正理解的人类话语提供帮助的自动对话代理。

    Mar, 2023