ACLApr, 2021

用于评估日语形态分析和词汇规范化的用户生成的文本语料库

PDF
TL;DR该研究构建了一个公开的 929 句子的日语 UGT 语料库，用于评估和比较不同的 MA/LN 系统，实验结果表明，现有的 MA/LN 方法在非常规词汇和非标准形式方面表现较差，该语料库可作为进一步研究日语 UGT 的基准测试。
发现论文，激发创造
  • PheMT: 一种面向现象的用户生成内容机器翻译鲁棒性数据集

    研究使用新数据集 PheMT，评估神经机器翻译系统对于特定日语 - 英语语言现象的鲁棒性，结果显示现有模型在用户生成内容的翻译质量表现不佳。

    Nov, 2020

  • ViLexNorm：越南社交媒体文本的词汇规范化语料库

    首次引入越南词汇规范化任务的越南词汇规范化 (ViLexNorm) 语料库包括超过 10,000 对句子，经过人工注释，来自越南最流行社交媒体平台的公开评论，并验证了其在 NLP 任务中的积极影响。

    Jan, 2024

  • 筛选和生成：一种用于神经自然语言生成中语义和风格联合控制的语料库和方法

    通过自然描述性用户评论数据免费生成语义和样式标记富文本的可并行结构化意义表示的训练数据集，系统地探索样式标记如何实现神经模型输出的语义和样式联合控制，提出了 YelpNLG，一个跨越不同餐厅属性的高度风格多变的参考文本和富含语义的并行结构化意义表示语料库，实验结果表明该模型可以在保持语义的前提下，成功地达到多个样式目标，包括形容词的词汇选择，输出长度和情感。

    Jun, 2019

  • 基于 LLM 的自然语言生成评估：现状与挑战

    自然语言生成（NLG）的评估是人工智能中一个重要但具有挑战性的问题。本文调查了基于大型语言模型的 NLG 评估方法，探讨了它们的优势和劣势，讨论了人机合作的 NLG 评估，并提出了该领域的几个开放问题和未来的研究方向。

    Feb, 2024

  • 基于形态学建模的低资源神经机器翻译

    在低资源环境中，提出了一种用于模拟复杂形态的框架解决方案，该方案采用了双层 Transformer 架构来编码输入端的形态学信息。同时通过多标签多任务训练和基于 beam search 的解码器，提高了机器翻译性能，并使用通用形式的注意力增强方案来整合预训练语言模型和源语言和目标语言之间的词序关系建模。通过评估多种数据增强技术，提高了在低资源环境中的翻译性能，最终在基纳卢旺达语 - 英语翻译任务中取得了有竞争力的性能，希望我们的结果能够鼓励更多在低资源的神经机器翻译中使用明确的形态学信息以及所提出的模型和数据增强方法。

    Apr, 2024

  • 形态变化的语境化

    本文介绍了一种利用神经混合图模型构建并预测词形变化的方法，并将其与传统的形态学变化或表面实现进行了比较，证明了将语言学驱动的潜在变量纳入 NLP 模型的实用性。

    May, 2019

  • 面向开放词汇神经机器翻译的隐变形模型

    本文提出了一种通过分层潜在变量模拟词态变化过程的方法，通过组合两个潜在表示（一个连续的表示和一组（近似）离散特征），逐个字符生成单词，从而使神经机器翻译在三种形态丰富的语言中的精度和资源利用率得到了提高。

    Oct, 2019

  • 一个对于大型语言模型形态学能力的多语言调查：计算 ChatGPT 中 Wugs 的错误

    大型语言模型 (LLMs) 的语言能力令人印象深刻，但在对其能力进行系统研究方面尚有较少的探讨。本研究通过对四种不同类型的语言 (英语、德语、泰米尔语和土耳其语) 进行首次严格分析 ChatGPT 的形态能力，发现 ChatGPT 在各语言中的性能远低于专门构建的系统，尤其在英语中表现不佳。总的来说，基于形态学的研究结果对 ChatGPT 的语言能力提出了新的看法，并暗示自称具有类人语言技能的说法为时尚早和误导性。

    Oct, 2023

  • 表面自然语言生成的可训练方法

    本文介绍了三个从注释语料库中训练的自然语言生成系统，分别为 NLG1、NLG2 和 NLG3，它们利用特定领域的语义属性和语法依赖信息通过最大熵概率模型生成整个短语中的单词，其中 NLG3 同时需要语义属性和句法依赖信息。通过针对航空旅行领域的短语生成实验，我们证明了这些系统的有效性。

    Jun, 2000

  • LUNA：语言理解和自然度评估框架

    LUNA 是一个自然语言生成模型评估工具，通过引入 20 个不同的评估指标，基于参考依赖性和文本表示的类型进行分类。其设计简单易扩展，并提供了一个用户友好的评估生成文本的工具。

    Jan, 2024