在 VarDial 2023 共享任务中，我们提出了一种基于两阶段系统的方法，能够对两种或三种语言的方言进行分类， Track-1 获得了 58.54% 的得分和 Track-2 获得了 85.61% 的得分，优于该领域其他参与者的系统和以往研究成果。

Mar, 2023

本文分析了机器学习分类器在区分相似语言和语言变体方面的表现，使用 DSL 共享任务的两个版本的结果进行了一系列实验，研究了两个任务之间的进展，估计了可能性能的上限，并提供了学习曲线，以帮助我们了解哪些语言更具挑战性。此外，还使用人工注释对一些困难的句子进行了进一步的研究。

Sep, 2016

本文介绍了 DSL True Labels (DSL-TL)，这是第一个人工标注的多语言类别识别数据集，并介绍了使用此数据集训练出的多个模型以区分语言类别的结果，这为开发更强大和更公平的语言类别识别系统提供了可靠的基准，并免费提供给研究社区。

Mar, 2023

使用 DIALECTBENCH 评估自然语言处理系统在标准和非标准方言上的性能差异，为语言技术的发展提供了综合视角。

Mar, 2024

本文介绍了团队 HWR 在 VarDial 2021 举办的 Dravidian Language Identification (DLI) 共享任务期间提交的内容，包括使用自适应语言模型的朴素贝叶斯分类器和基于 Transformer 的模型进行的实验，以及在语言识别相关任务中深度学习方法的表现不如其他文本分类任务这一研究发现。

Mar, 2021

本研究综述了越南产品评论比较观点挖掘的比较任务，该任务旨在通过开发从越南产品评论中有效提取比较观点的技术，推进自然语言处理领域。研究构建了一个人工标注数据集，包括 120 个文档、7427 个非比较句和 1798 个句子中的 2468 个比较，参与模型根据完全匹配宏平均的五元组 F1 得分进行评估和排名。

Feb, 2024

该研究报告通过使用不同类型的语言模型并利用数据增强技术，提出了一种结合方法，旨在改善南斯拉夫南方微方言上大规模语言模型（LLMs）的通识推理能力评估，通过实验证明数据增强技术能够显著提升开源型模型类别在三个南斯拉夫方言（Chakavian、Cherkano 和 Torlak）的测试数据集上的性能，突出了数据增强的实际效用和 LLMs 在处理非标准方言方面的潜力以推进低资源和方言环境下的自然语言理解。

Apr, 2024

该论文调查了自然语言处理中方言的重要性，描述了不同方言数据集和方法，对方言的研究超过了仅仅方言分类的工作，对构建具有公平性的语言技术有重要意义。

Jan, 2024

使用预训练语言模型和高质量标注的对话数据，最近关于开放域对话评估的无参考学习测量的进展主要集中在英文对话上，对这些测量指标在其他语言上的泛化性还没有得到充分研究。因此，为了解决这个问题，我们引入了一个基于英文对话评估数据集的 xDial-Eval 来进行多语言对话评估基准测试，并建立了自监督和多语言基线模型。与 OpenAI 的 ChatGPT 相比，最好的基线模型在所有数据集和语言上的平均 Pearson 相关系数分别提升了 6.5% 和 4.6%，同时具有更少的参数。

Oct, 2023

本文介绍了第三届学术文献处理研讨会（SDP）中的 SV-Ident 共享任务，包括任务描述、参与团队的提交、评估结果和可用数据。本次任务的核心目标是在学术文献中识别变量，但是尽管参与团队未能超越基线系统，他们的提交依然提供了有用的见解。

Sep, 2022