摘要
arXiv:2503.21464v1 Announce Type: 交叉
摘要:在本文中,我们提出了一种名为Number of Thoughts (NofT)的度量标准,以确定预提示任务的难度,并支持大规模语言模型(LLMs)在生产环境中的应用。通过基于思想的数量设置阈值,此度量标准可以区分提示的难度并支持更有效的提示路由。当通过量化和精炼版本的Deepseek(参数量分别为17亿、70亿和140亿)对MathInstruct数据集中的提示进行路由时,可以实现2%的延迟降低。此外,此度量标准还能高度有效地检测提示注入攻击中使用的对抗性提示。Number of Thoughts可以告知一个分类器,在对抗性提示检测中达到95%的准确率。我们的实验和数据集可以在我们的GitHub页面上获取:https://github.com/rymarinelli/Number_Of_Thoughts/tree/main。