LLM2D
利用推理链元数据进行任务路由和对抗提示检测
Harnessing Chain-of-Thought Metadata for Task Routing and Adversarial Prompt Detection
作者: Ryan Marinelli, Josef Pichlmeier, Tamas Bisztray
发布日期: 3/28/2025
arXiv ID: oai:arXiv.org:2503.21464v1

摘要

arXiv:2503.21464v1 Announce Type: 交叉 摘要:在本文中,我们提出了一种名为Number of Thoughts (NofT)的度量标准,以确定预提示任务的难度,并支持大规模语言模型(LLMs)在生产环境中的应用。通过基于思想的数量设置阈值,此度量标准可以区分提示的难度并支持更有效的提示路由。当通过量化和精炼版本的Deepseek(参数量分别为17亿、70亿和140亿)对MathInstruct数据集中的提示进行路由时,可以实现2%的延迟降低。此外,此度量标准还能高度有效地检测提示注入攻击中使用的对抗性提示。Number of Thoughts可以告知一个分类器,在对抗性提示检测中达到95%的准确率。我们的实验和数据集可以在我们的GitHub页面上获取:https://github.com/rymarinelli/Number_Of_Thoughts/tree/main。