LLM2D
基于集合的方法用于量化基于LLM的分类不确定性
Ensemble based approach to quantifying uncertainty of LLM based classifications
作者: Srijith Rajamohan, Ahmed Salhin, Josh Frazier, Rohit Kumar, Yu-Cheng Tsai, Todd Cook
发布日期: 2/13/2025
arXiv ID: oai:arXiv.org:2502.08631v1

摘要

arXiv:2502.08631v1 宣告类型: 新闻 摘要:大型语言模型(LLMs)的输出取决于模型内部的参数以及输入到上下文窗口中的输入。这里提出的假设是在贪婪采样策略下,LLM的输出变化是模型参数知识中蕴含的概念确定性以及输入词汇变化性的函数。通过微调模型可以减少模型输出对输入词汇变化的敏感性。然后将其应用于分类问题,并提出了一种概率方法来估计预测类别的确定性。