- 中文细粒度 LLM:预训练中心化大型语言模型
通过引入 CT-LLM,这项研究介绍了一个 2B 规模的大型语言模型(LLM),以优先考虑中文语言的发展。这项研究挑战了在英文语料库上培训 LLMs 并将其适应其他语言的常规模式,为 LLM 培训方法学的拓宽开创了新的可能性。
- 中文恶意言语检测:现状与未来方向
监测和规范社交媒体平台上用户生成内容的努力虽然仍然在进行,但数字空间中令人不悦的语言(如仇恨言论或网络欺凌)的普遍存在仍然是一个重大挑战。本文全面概述了中文中令人不悦言语的检测,考察了当前的基准和方法,并强调了解决这种复杂语言中令人不悦言语 - WWWMCFEND:面向中文假新闻检测的多源基准数据集
我们构建了中国首个多源虚假新闻检测基准数据集 MCFEND,该数据集由来自多种社交平台、消息应用和传统在线新闻机构的新闻组成,并且这些新闻已经经过了全球 14 个权威事实核查机构的事实核查。我们对现有的多种中国虚假新闻检测方法在我们提出的数 - 推进生物医学文本挖掘的社区挑战
对中文生物医学文本挖掘的社区挑战进行了综述和比较分析,总结了其在生物医学研究中的潜在临床应用以及在大语言模型时代的贡献、局限和未来发展方向。
- CLongEval: 用于评估长文本大语言模型的中文基准
我们提出了一个用于评估长文本上下文下的大型语言模型的全面中文基准测试 ——CLongEval,特点是足够的数据量、广泛的适用性和高质量。通过对 6 个开源长文本上下文大型语言模型和 2 个领先的商业对手进行评估,我们对长文本上下文模型的关键 - 一个带有多段答案的开放领域问答数据集
CLEAN 是一个综合的中国多段落问答数据集,它包含了广泛的开放领域主题,并需要大量实例来回答描述性问题。
- 我们需要专门的事实核实模型吗?以中文为例
本研究调查了语言特定的事实核查模型的潜在益处,重点关注汉语的情况。我们通过翻译中文声明和证据成英文,或直接使用多语言大型语言模型(如 GPT4)的方法的限制,强调了需要语言特定系统的必要性。我们进一步发展了一种最先进的汉语事实核查系统,与之 - AlignBench:大型语言模型中文对齐性能基准测试
介绍了 AlignBench,这是一个多维基准,用于评估中文大型语言模型(LLMs)的对齐能力。使用人机协作的数据处理流程,通过使用 Rule-calibrated 多维 LLM 作为评判者和思维链来生成解释和最终评级,确保评估的可靠性和解 - 中国方面情感四元预测基准的实证研究
通过构建两个大型的中文 aspect sentiment quad prediction(ASQP)数据集,我们评估了 GPT 系列模型在 ASQP 上的性能,并展示了潜在的问题,同时强调了需要探索额外技术以解决 ASQP 以及改善 GPT - 中文字符级背包语言模型
通过对字符分割的中文进行训练、评估、解释和控制,我们发现我们的(134M 参数)中文 Backpack 语言模型在性能上与(104M 参数)Transformer 相当,并且学习到了丰富的字符级意义,通过对数相加形成词汇的意义。在 SimL - EMNLP指导调优大型语言模型的实证研究
通过深入实证研究指导调优中文语言模型,本文提供了宝贵的研究结果,有助于定制能更好地应对中文指令的大型语言模型。
- 一份包含恶意内容的用于 LLMs 的中文 Prompt 攻击数据集
我们介绍了一份针对大型语言模型的汉语 Prompt 攻击数据集(CPAD),我们的测试结果显示,我们的 Prompt 对语言模型具有显著的危害,攻击成功率约为 70%。我们将发布 CPAD 以鼓励对 Prompt 攻击和防御的进一步研究。
- 从汉语角度的命题:一个汉语命题分类评估基准
本文提出了显式和隐式命题的概念,基于语言学和逻辑提出了一种综合的多层次命题分类系统,同时创建了一个包含所有与命题相关类别的大规模中文命题数据集 PEACE 进行评价。研究结果表明适当建模命题的语义特征非常重要,BERT 在命题分类能力上相对 - 中文自然语言问题的自动数据可视化生成
数据可视化已成为从大规模数据集中获取洞察力的有效工具。本研究提出了一种中文文本到可视化的数据集,并展示了我们对该问题的首次尝试。我们的模型集成了多语言 BERT 作为编码器,增强了跨语言能力,并将 $n$-gram 信息融入我们的词表示学习 - 江:中文开放基础语言模型
通过优化词汇设计和训练语料库,我们推出了 JIANG 模型,该模型专门为中文而设计,取得了优异的性能。
- 诗歌传播:朝着诗歌生成中的联合语义和韵律操作
本文利用扩散模型分别在中文诗歌的 “宋词” 和 “十四行诗” 上进行了难点挑战的同时,结合了特殊的度量控制方法,提出一种新的自然语言生成模型,并得出了在两个数据集上的实验结果,表明我们的模型在语义、度量和整体性能方面优于现有模型。
- ACL扩展范围:将英语对抗攻击应用于中文
本研究通过适当的文本分割和语言约束,将英语自然语言处理领域最先进的对抗性攻击算法适应于中文,并展示了这些攻击方法可以生成高质量的对抗性样本,从而提高了中文自然语言处理领域的对抗鲁棒性。
- ACL汉语句子简化的新数据集和实证研究
这篇文章介绍了 CSS,一种新的用于评估中文简化句子的数据集,测试了几种无监督和零 / 少样本学习方法,并探讨了大型语言模型是否能够作为高质量的中文简化句子系统。
- MCTS:一份多参考的中文文本简化数据集
该论文介绍了一种多参考中文文本简化数据集 (MCTS),并对一些无监督方法和先进的大型语言模型的性能进行了评估,以期通过基础工作建立对中文文本简化的基本理解,并为未来的研究提供参考。
- 用于中文文本的主题分段和提纲生成的进展:段落级主题表示、语料库和基准
本文针对中文语料库资源匮乏和段落层面主题表示不足的限制,提出了层级段落主题结构表示方法,并构建了目前规模最大,质量最优的中文语段层级主题结构语料库。同时,本文在话语分析等多项任务上,说明了此语料库在基础、应用领域的可行性及有效性。