lexical normalization | BriefGPT

关键词lexical normalization

搜索结果 - 5

ACLViLexNorm：越南社交媒体文本的词汇规范化语料库
首次引入越南词汇规范化任务的越南词汇规范化 (ViLexNorm) 语料库包括超过 10,000 对句子，经过人工注释，来自越南最流行社交媒体平台的公开评论，并验证了其在 NLP 任务中的积极影响。
PDF5 months ago
自动文本规范化用于仇恨言论检测
社交媒体数据是研究的宝贵资源，非标准词汇是对 NLP 工具运行的一种障碍。我们采用了一种简单的序列到序列模型，通过文本规范化的实验结果显示准确率接近 70%，同时也提升了 2% 左右的仇恨言论检测任务的准确性，展示了提高复杂 NLP 任务性
PDF8 months ago
EMNLP基于多语言 Transformer 的序列 - 序列词汇规范化
本论文通过使用基于 mBART 的句子级序列到序列模型，将自然语言处理中的标准化问题归结为机器翻译问题，利用多语言预训练技术进行 fine-tuned，优于操作原始社交媒体文本的模型，在下游任务中实现性能提升。
PDF3 years ago
COLINGDaN+：丹麦嵌套命名实体和词汇规范化
介绍了 DaN+，一个新的、支持跨语种跨领域学习的丹麦嵌套命名实体（NEs）和词汇归一化的多领域语料库和标注指南。评估了三种策略来建模双层命名实体识别任务，证实多任务学习是最坚实的策略，并且在最规范的数据中，使用本语言 BERT 和词汇归一
PDF3 years ago
ACL用于评估日语形态分析和词汇规范化的用户生成的文本语料库
该研究构建了一个公开的 929 句子的日语 UGT 语料库，用于评估和比较不同的 MA/LN 系统，实验结果表明，现有的 MA/LN 方法在非常规词汇和非标准形式方面表现较差，该语料库可作为进一步研究日语 UGT 的基准测试。
PDF3 years ago