混合代码社交媒体文本的复杂度度量
该研究针对多元文本语料库构建了法语文本的复杂度测量方法,采用多种度量指标和不同机器学习算法探索了法语文本的复杂性特征,研究结果表明该方法可有效测量法语文本的复杂度。
Aug, 2022
通过提出一系列的评估度量,本文对语义相似度度量的特征进行自动和可解释的评估,从而实现了对不同语义相似度度量方法行为的合理比较。通过对经典方法和最新方法的评估,我们的度量揭示了最近开发的度量在识别语义分布不匹配方面变得更好,而经典度量则对表面文本水平的扰动更加敏感。
Nov, 2022
本文研究语言混合的机器生成问题,在低资源情况下基于评价因素预测合成质量,以应对数据扩充的需求。
Jun, 2022
本文介绍了 NILC-Metrix,一种由 200 个指标组成的计算系统,旨在评估巴西葡萄牙语中的文本复杂程度,并且具有描述性分析和创建计算模型的实用功能。同时,通过三种应用来说明 NILC-Metrix 的潜力。
Dec, 2021
通过对英文文本的计算性高压缩算法和 $n$-gram 重叠同质性得分的测量,我们发现多种测量指标的组合(如压缩比、长 $n$-gram 的自我重复、Self-BLEU 和 BERTScore)足以报告多样性得分,并可应用于生成模型、调试指导型数据集和人工生产文本的分析。
Mar, 2024
该研究提供了 TextComplexityDE 数据集,其中包括 1000 个句子,采自不同领域的 23 篇德文维基百科文章,用于开发文本复杂性预测模型和德语自动文本简化。该数据集包括由德语学习者在 A 和 B 级别提供的不同文本复杂度方面的主观评估,此外,还包括了由母语德语者提供的 250 个句子的手动简化以及目标群体参与者对简化后句子的主观评估。主观评级使用实验室研究和众包方法进行收集。
Apr, 2019
本篇论文提出了一个理论框架,可以设计不同的自动度量标准来评估机器翻译系统。它引入了 “认知轻松度” 概念,依赖于 “适当性” 和 “流畅度”。这样,认知轻松度成为要测量的主要参数,而不是可理解性。该框架允许对认知轻松度的各个组成部分进行分解和基于不同的语言层次进行计算。此外,维度的独立性和线性组合方法为高度模块化的方法提供了可能性。该论文将现有的自动方法置于一个整体框架中,以更好地理解它们并在未来改进它们。它也可以用来评估新类型的 MT 系统,例如语音到语音翻译和语篇翻译。
Feb, 2022
研究了多语种自动语音识别中的代码切换问题,提出了基于人工判断的评价指标,并通过多种指标的比较得到了最优方法 —— 采用音译和文本规范化,同时发布了第一个阿拉伯语 / 英语对话语境中人类接受度的语料库。
Nov, 2022
本文章提出一种同时评估生成文本方法质量和多样性的度量标准,通过逼近学习生成模型和真实数据分布的距离,并介绍了基于 n-gram 和 BERT 特征的度量方法,并且在 Oracle 训练模式下使用相应显式分布之间的距离。最后,使用现有和提出的度量标准对最流行和最新的文本生成模型进行评估,确定提出度量标准的优势。
Apr, 2019
我们开发了一种两步方法来评估词汇复杂度,不需要任何预先注释的数据,并且我们验证了该方法在挪威语中的有效性,并通过统计测试和对真实评估工具样本进行定性评估来调查复杂度测量与文献中通常与复杂度相关的某些特征之间的关系。
Apr, 2024