基于大型语言模型的词汇语义变化检测评估
第一项共享任务的结果,提供了评估框架和高质量的英语,德语,拉丁语和瑞典语手动注释数据集,解决了词汇语义变化检测领域中评估问题的压力,并吸引了 33 个团队提交了 186 个系统。
Jul, 2020
本文提出从变化检测到变化发现的新方向,重点在于发现全文词汇中的新单词含义变化。通过对最近发表的德语数据进行深度调整,研究人员证明了两种模型都可以成功地应用于发现正在经历含义变化的新单词。此外,还提供一个几乎全自动化的框架用于评估和发现。
Jun, 2021
我们通过研究由词汇替换引入的意外上下文的影响,建模了语义变化,并提出了一种替换模式作为可解释的语义变化模型,同时还首次评估了使用 LLaMa 进行语义变化检测的方法。
Apr, 2024
通过系统性文献综述,全面考察了在预测和异常检测中使用大规模语言模型(LLMs)的应用,突出了现有研究的现状、固有挑战和未来发展方向。LLMs 已经在解析和分析大规模数据集以识别模式、预测未来事件和检测异常行为等各个领域展现了巨大潜力。然而,该综述指出了一些关键挑战,如依赖于大量历史数据集、在不同背景中的泛化问题、模型产生幻觉的现象、模型知识范围的局限性以及需要大量计算资源等,这些挑战阻碍了它们更广泛的应用和有效性。通过详细分析,本综述讨论了克服这些障碍的潜在解决方案和策略,如整合多模态数据,学习方法的进步以及强调模型可解释性和计算效率。此外,该综述还概述了可能影响 LLMs 在这些领域中发展的关键趋势,包括朝向实时处理、可持续建模实践的重要性和跨学科合作的价值。最后,该综述强调了 LLMs 对预测和异常检测可能产生的转变性影响,同时强调了持续创新、道德考虑和实际解决方案的需求以实现其全部潜力。
Feb, 2024
通过使用大型语言模型(LLMs)来辅助发现源代码中的漏洞,相比传统的静态分析工具,我们发现 LLMs 能够找出更多问题,提高漏洞检测的回溯率和 F1 分数,从而使得代码更加安全。
May, 2024
评估大语言模型在教育中的功效,特别是在口语学习领域,引入新的多选题数据集评估模型在理解和应用口语知识方面的表现,研究不同提示技术对模型性能的影响,发现模型在音韵学、语音学和第二语言习得方面具有良好的概念理解,但在解决现实世界问题的推理方面存在限制,并初步探讨了对话交流的发现。
Aug, 2023
本文通过对 5000 多篇学术文献的综合分析,提供了关于 LLM 研究的路线图,包括核心算法开发、自然语言处理任务、LLM 在医学、工程、社会科学和人文学科中的应用等方面的研究趋势以及研究范式和合作模式的变化,为研究人员、从业者和决策者了解 LLM 研究的当前状态、影响和潜力提供了有价值的见解。
Apr, 2023
通过文献综述和第一手实验,本文研究了大型语言模型(LLMs)的潜力。尽管 LLMs 具有成本效益和高效性等优点,但也存在着诸如提示调优、偏见和主观性等挑战。该研究通过利用 LLMs 进行定性分析的实验提供了新的见解,强调了成功和限制。此外,本文还讨论了缓解挑战的策略,如优化提示技术和利用人类专业知识。我们的工作旨在将 LLMs 有机地融入人机交互数据工作,并积极促进其负责任的应用,以此回应关于 LLMs 在研究中负责任应用的持续对话。
Apr, 2024
通过系统文献综述,我们深入研究了大型语言模型(LLMs)与软件工程(SE)的交叉领域,并特别关注 LLMs 在 SE 中的应用、影响和潜在局限。通过收集和分析 2017 年至 2023 年的 229 篇研究论文,我们回答了四个关键研究问题(RQs),比较分析了不同用于 SE 任务的 LLMs 的特点和用途,并详细描述了在此领域中数据收集、预处理和应用的方法,揭示了稳健、经过良好策划的数据集对于成功实施 LLM 的关键作用。同时,我们还调查了优化和评估 LLMs 在 SE 中性能的策略,以及与提示优化相关的常见技术。通过解决上述研究问题,我们勾勒出当前最先进的研究状况,找出现有研究的不足之处,并标注未来研究的有前景的领域。
Aug, 2023