通过有效主动学习和人在环节中提高电话会话中的命名实体识别

NIPSNov, 2022

通过有效主动学习和人在环节中提高电话会话中的命名实体识别

Improving Named Entity Recognition in Telephone Conversations via Effective Active Learning with Human in the Loop

Md Tahmid Rahman Laskar, Cheng Chen, Xue-Yong Fu, Shashi Bhushan TN

TL;DR本文介绍了一种采用人类辅助学习的主动学习框架，以识别更有可能包含注释错误的数据样本进行重新注释，从而显著提高特定实体类型的 F1 分数。该方法只需对整个数据集的约 6% 的训练实例进行重新注释即可取得良好效果。

Abstract

telephone transcription data can be very noisy due to speech recognition errors, disfluencies, etc. Not only that annotating such data is very challenging for the annotators, but also such data may have lots of annotation errors even after the annotation job is completed, resulting in

telephone transcription noisy data active learning human in the loop named entity recognition

发现论文，激发创造

一种适用于嘈杂商务电话对话文本的高效实体识别系统

本研究提出了一种有效的方法，使用有噪声的商务电话对话转录本进行训练的命名实体识别 (NER) 模型，使用 LUKE 作为教师模型，使用大量弱标记数据和少量人工标注数据教授一个 smaller DistilBERT-based 学生模型，并在满足商业电话产品实际约束条件的情况下实现高准确性和即时性能

Sep, 2022

ActiveAED: 人在循环中改善注释错误检测

本文提出了 ActiveAED 的 AED 方法，可在预测循环中反复查询人类进行错误修正，从而更准确地检测错误，并在八个数据集中获得了提高的结果。

May, 2023

命名实体识别的深度主动学习

本文介绍了一种名为 CNN-CNN-LSTM 的轻量级深度学习模型，通过增量主动学习技术，可以显著减少已标记训练样本量，达到几乎与最先进模型相媲美的性能表现。

Jul, 2017

Onception: 面向真实世界机器翻译的专家建议主动学习

本文主要探讨了在低资源环境下运用主动学习来提高机器翻译系统的翻译质量，使用流式主动学习提高翻译质量，通过动态组合多种查询策略，使用预测和专家建议来决定最优策略。通过实验证明，在更少的人工干预下，使用主动学习可以收敛到最好的机器翻译系统。

Mar, 2022

商用智能语音助理领域分类的主动学习

本研究介绍了一种基于 LSTM 域选择组件的人工智能助理系统中对于选择相关新训练数据的方法，实验结果表明，与随机选择和基于熵的方法相比，在固定标注预算的情况下提供了更高的准确性提升。

Aug, 2019

呼叫中心文本中的命名实体识别，以符合隐私法规

研究使用命名实体识别技术处理新型用户生成的文本：客户服务会话记录，使用自身语料库，训练上下文字符串嵌入，应用 BiLSTM-CRF 算法，取得了该任务的最新最优结果。

Oct, 2020

大规模会话型 AI 代理的基于反馈的自学习

本研究提出了一种自学习系统，使用用户 - 系统交互反馈信号自动纠正对话式人工智能系统中出现的各种组件错误，并通过吸收马尔可夫链模型挖掘这些反馈信号中的共同模式，进行可扩展的改进，实现了大规模对话式人工智能系统的自主学习，能显著降低过多次错误和缺陷。

Nov, 2019

少量的注释带来大量的好处：低资源命名实体识别器自举的研究

该研究探讨了在资源匮乏的语言中高效创建高质量实体识别器的最有效方法，通过运用跨语言转移、有针对性注释同属于两种策略的方法，实现在小数据集下快速精确识别实体的结果。

Aug, 2019

循环中的 LLM：利用大型语言模型注释在低资源语言中进行主动学习

通过在主动学习环路中利用 LLM 的潜力进行数据标注，我们的提议在极低的数据需求下显著提高了性能，为低资源环境中的自动化带来了巨大的潜在成本节约。这种方法能够弥合低资源语言和人工智能之间的鸿沟，促进更广泛的包容，并有潜力在不同的语言环境中实现自动化。

Apr, 2024

医疗对话中功能性段落的学习：迭代拟标记和人在循环方法

本文提出一种基于伪标签和人机协同方法的医疗对话自动分类算法，通过联合使用 bootstrap 和人机协同方法，最终在一个专家标注的数据集上将分类准确率从 69.5% 提高到 82.5%。

Oct, 2022