这篇论文描述了我们在 SemEval-2024 任务 9 中的方法：BRAINTEASER：一项挑战常识的创新任务。BRAINTEASER 任务包括多项选择问答，旨在评估模型的横向思维能力。它由句子拼图和单词拼图子任务组成，要求模型打破默认的常识联系，展现非传统的思维方式。我们提出了一种独特的策略，以改进预训练语言模型（特别是 Gemini 1.0 Pro 模型）在两个子任务中的性能。我们采用静态和动态的少样本提示技术，并引入了一个模型生成的推理策略，利用语言模型的推理能力来提高性能。我们的方法取得了显著的改进，表现远优于基准模型，但仍不及人类标注者，从而凸显了所提策略的功效。

May, 2024

该研究使用语言模型如 BERT 和 RoBERTa Large 来解决 SemEval 2024 BRAINTEASER 任务，通过使用 Chain of Thought 和 zero-shot learning 的方法，最终在句子难题子任务上实现了 85% 的准确率。

Jun, 2024

利用综合策略和先进的预训练模型，以及 Sentence 和 Word Puzzle 数据集作为训练数据，并结合幽默 / 笑话和 RiddleSense 数据集进行模型微调，实现了 92.5％的句子拼图子任务准确率和 80.2％的词语拼图子任务准确率。

May, 2024

我们设计了 BRAINTEASER 任务来测试模型展示横向思维和打破默认常识关联的能力，研究发现，现有的指导型与常识语言模型在横向思维方面与人类表现相比存在显著差距，特别是在对抗性格式的一致性上。

Oct, 2023

本研究提出了一种专用模型，旨在解决 BRAINTEASER 任务，这是一个设计用来评估模型通过句子和单词谜题的侧向思维能力的新挑战。我们的模型在测试阶段在解决句子谜题方面表现出卓越的效果，总得分达到 0.98。此外，我们探讨了 ChatGPT 的比较性能，特别分析了温度设置变化对其参与侧向思维和问题解决能力的影响。我们的发现显示了专用模型和 ChatGPT 之间显著的性能差异，凸显了专门方法在增强人工智能中的创造性推理能力方面的潜力。

Feb, 2024

这篇论文介绍了在 NLP 领域中进行的关于垂直思维的重要工作，随后探讨了对横向思维的研究不足以及 SemEval 2024 引入的 BRAINTEASER 任务，主要涉及句子拼图和词语拼图两种类型的问题，并借助 GPT-3.5 上使用少量提示的方法处理这两种类型的问题，并从中获得了对两种类型问题性质差异的洞见。在 Sentence Puzzle 和 Word Puzzle 任务中，我们的提示策略在排行榜上分别位列第 26 和第 15。

May, 2024

这篇论文介绍了一个基准测试以评估当前模型的横向思维能力，其中一个任务是测试系统的推理和横向思维能力，在竞赛中接受了 483 个团队的提交。

Apr, 2024

该研究介绍了 UniBuc - NLP 团队应对 SemEval 2024 任务 8：多生成器、多领域和多语言黑盒机器生成文本检测的方法。我们探索了基于 transformer 和混合深度学习架构。其中，我们的基于 transformer 的模型在子任务 B 中以 86.95％的准确度在 77 个团队中取得了强势的第二名，展示了该架构在此任务中的适用性。然而，我们的模型在子任务 A 中显示出了过拟合的现象，这可能通过减少微调和增加最大序列长度来修复。对于子任务 C（标记级别分类），我们的混合模型在训练过程中出现了过拟合，影响了其检测人工文本和机器生成文本之间的转换能力。

May, 2024

本文研究了英文语言的复杂 NER 任务，使用预训练语言模型如 BERT 取得竞争性成绩，并 qualitatively 分析了多种架构在此任务上的表现，最佳模型相比 baseline F1-score 提升了超过 9%。

Apr, 2022

我们的研究采用大型语言模型 (LLMs) 和几种提示技术解决自然语言理解测试中提供的谜题数据集。通过零瞄和少瞄提示，相较于开源模型，我们的专有模型表现出合理的结果。通过分步提示的迭代提示方法，我们进一步改进了结果。通过使用一系列分步提示，我们在字谜题子任务中获得第二名，在句子谜题子任务中获得第 13 名。提示型大型语言模型表现出较强的性能，证明了当提供思维过程分解时，它们具备处理复杂推理的能力。我们的工作揭示了分步解释性提示如何释放大型模型参数中更多的知识。

Mar, 2024