- SORRY-Bench: 大型语言模型安全拒绝行为系统评估
评估大型语言模型识别和拒绝不安全用户请求的能力对于安全和符合政策的应用至关重要,SORRY-Bench 是我们提出的基准测试方法,改善了现有方法的三个局限,包括对不安全主题的细致分类、考虑语言特征和格式的偏差以及设计高效的自动化安全评估器。
- COLING解码探究:利用最小对比揭示神经语言模型中的内部语言结构
受认知神经学研究的启发,我们介绍了一种新颖的 “解码探测” 方法,利用最小对比基准(BLiMP)逐层探测神经语言模型中的内在语言特征。通过将语言模型视为 “大脑”,其表示为 “神经激活”,我们从中间层的表示中解码最小对比的语法标签。该方法揭 - 应对仇恨言论的受约束大型语言模型
利用大型语言模型生成有限制条件的反抗言论,并研究其对在线环境的影响和生成方法的语言特征。
- ACL数学阅读理解题为何对语言学习者具挑战性?
本文研究了大型语言模型在数学问题中面临的挑战,通过对数学问题的语言和数学特征进行深入分析,并训练基于特征的分类器来理解各个特征对数学问题整体难度的影响,并探讨这是否有助于预测大型语言模型在特定类别的数学问题中的表现。
- 区分人工翻译、神经网络翻译和 ChatGPT 的语言和统计方法
通过统计测试、机器学习算法和多维分析方法,本研究探讨 ChatGPT 生成的翻译与神经机器翻译(NMT)及人工翻译(HT)之间的可区分性、语言特征以及相似程度。结果表明,ChatGPT 生成的翻译在大多数多维分析维度上与 NMT 更相似,并 - 探究语言识别模型的性能:超越简单的错误统计
研究语言识别系统在 MERLIon CCS 挑战中对不同语言特性的子集的表现,考察其对录音和语音单元的性能,并且提出评估指标的局限性和可能导致算法偏差的问题。
- MM会议摘要的动态滑动窗口
本研究发现会议摘要的句子与会议议程有关,基于此提出了一种动态滑动窗口策略来解决长会议记录的自动文本摘要问题。实验结果表明,相较于传统模型,该方法获得了更高的文本一致性。
- 测量和描述新闻网站上的仇恨言论
本文大规模分析了 19 个月中发布在 412K 个新闻文章上的 1.25 亿条评论,结论是,发布在社交网络上的新闻文章会吸引更多的有害评论,这些评论的语言特点不同于其他评论,而且与一些政治事件有关。
- 推特上的德国右翼仇恨言论:分析与自动检测
通过量化和定性分析,本文研究了 2017 年德国联邦选举期间发布的 50,000 条右翼极端主义 hate tweet,探讨如何利用分析结果来开发自动检测系统并解决如何定义和检测 hate speech 的难题。
- ACL暗网上合法和非法活动的语言
本研究通过将毒品相关网站作为测试案例,比较在深网和表面网络中合法和非法毒品销售文本的语言特征,发现它们在部分词性标注的分配和维基百科中命名实体的文本覆盖率方面存在明显差异。
- ACL通过解释神经模型来检测阿尔茨海默病的语言特征
本文使用 NLP 技术对 DementiaBank 数据集中 Alzheimer's 病人的语言特征进行分类和分析,利用 CNN、LSTM-RNN 和两者的组合进行分类,识别语言样本,获得了 AD 识别任务的新的独立基准精度。最后通过激活聚