LLM2D
Home
Arxiv
返回列表
ProcessTBench:一个用于流程挖掘的LLM计划生成数据集
ProcessTBench: An LLM Plan Generation Dataset for Process Mining
发布日期:
9/20/2024
arXiv ID:
oai:arXiv.org:2409.09191v2
摘要
大型语言模型(LLMs)在计划生成方面展示了显著的潜力。然而,现有数据集往往缺乏高级工具使用场景所需的复杂性,例如处理转述的查询语句、支持多种语言以及管理可以并行执行的操作。这些场景对于评估LLMs在实际应用中的不断演进能力至关重要。此外,当前的数据集无法从过程角度研究LLMs,特别是在理解在不同条件或表述下执行相同过程时的典型行为和挑战方面。为了填补这些空白,我们提出了ProcessTBench合成数据集,这是TaskBench数据集的扩展,专门设计用于在过程挖掘框架内评估LLMs。
查看原文
下载 PDF