Sep, 2023

引入 “预测话语” 用于对话式数据科学

PDF
TL;DR通过自然对话，智能代理能够协助用户进行预测任务，而无需深入了解机器学习过程，本文通过引入一种名为预测话语的新概念并聚焦于从这些话语中准确解读用户预测目标，将任务作为一个槽填充问题，然后采用两种零样本方法解决槽填充任务，即实体抽取和问答技术，我们通过三个经过精心构建的数据集进行实验证明了我们雄心勃勃的目标的可行性，并展示了实体抽取和问答技术在解读预测话语中的有效性。
发现论文，激发创造
  • 信息检索对话中的用户意图预测

    研究了信息检索中用户意图识别的两个方面，提取基于内容，结构和情感特征的特征，利用经典机器学习方法执行用户意图预测，使用特征重要性分析确定了结构特征对预测的贡献最大，并构建了神经分类器以提高性能。

    Jan, 2019

  • 任务导向对话系统中未被识别的用户话语的洞察

    本研究提出了一种用于处理商业任务导向型对话系统中未识别用户语句的端到端管道，包括特定定制聚类算法、新颖的聚类代表提取方法和聚类命名。通过评估这些组件，证明了它们在分析未识别用户请求方面的益处。

    Apr, 2022

  • ForecastQA：基于时序文本数据的事件预测问答挑战

    本文提出了一种基于大量非结构化文本数据的事件预测方法，即将其转化为一种限定领域的问答任务。特意构建了 ForecastQA 问答数据集用于测试，采用 BERT-based 模型，最终精度达到 60.1%，但还落后于人类表现约 19%。

    May, 2020

  • 面向目标导向对话系统的自动意图提取和话语分类算法

    自然语言处理领域的现代机器学习技术可用于自动生成目标导向对话系统的脚本。本文提出了一个研究自动生成目标导向对话系统脚本的通用框架，并描述了一种用于预处理 JSON 格式对话数据集的方法。比较了基于 BERTopic 和潜在狄利克雷分配的两种提取用户意图的方法，并比较了基于逻辑回归和 BERT transformer 模型的两种分类用户语句的算法实现。与其他方法相比，使用 bert-base-uncased 模型的 BERT transformer 方法在精确度（0.80），F1 分数（0.78）和马修斯相关系数（0.74）等三个指标上表现更好。

    Dec, 2023

  • 使用大型语言模型预测对话中的不确定性：成交与否（或谁知道）？

    有效的对话者必须考虑他人的不确定目标、信念和情绪，但是即使是最好的人类对话者也无法完美地预测对话的轨迹。我们提出了 FortUne Dial，对长期存在的 “对话预测” 任务进行了扩展：不仅评估准确性，还使用了具有不确定性意识的度量标准，有效地使个别实例中可以放弃预测。我们研究了语言模型在代表对话结果不确定性方面的两种方式（内部使用分数，直接使用标记），并提出了改进这两种表示的校准的微调策略。在八个困难的谈判语料库上的实验证明，我们提出的微调策略（传统的监督策略和离线策略增强学习策略）能够使规模较小的开源模型与其体积为 10 倍的预训练模型竞争。

    Feb, 2024

  • 从过去的对话中挖掘意图信息以供会话代理使用

    本文提出了意图发现框架，通过自动聚类类似用户话语并手动注释，再通过对未被聚类映射的话语标记意图标签和标记传播，从原始对话中生成意图训练数据，以有效地解决在聊天机器人开发过程中遇到的用户话语分类问题，并验证了该框架的有效性。

    May, 2020

  • 自动话语生成

    本文提出了一种使用提取式摘要、多种换句技术和新颖的候选句子选择算法生成相关对话语句的系统来解决对话代理机器人中问答环节重要性的问题。

    Apr, 2020

  • 利用神经网络预测未来世界事件

    该研究介绍了 Autocast 数据集以及伴随的新闻语料库，以提高语言模型的预测能力，其中还包括数字问题和度量标准的 IntervalQA 数据集，并发现语言模型的性能远低于人类专家基准，但随着模型规模和新闻语料库相关信息的增加，性能有所提高。

    Jun, 2022

  • 神经对话模型

    通过序列到序列框架，一种简单的端到端的对话模型方法被提出，在特定的领域和大规模通用领域的数据集上表现出很好的对话效果，并可用于执行常识推理任务。

    Jun, 2015

  • 会话偏离的动态预测

    自动预测公开在线对话中的偏离度可提供早期干预机会。我们将预训练语言编码器应用于此任务，并尝试将训练范式从静态转换为动态以增加预测范围。该方法在高质量数据环境下表现出更长平均预测范围，但在低质量数据环境下动态训练会传播噪音并对性能产生负面影响。

    Oct, 2021