LLM2D
ResBench:具有资源意识的LLM生成FPGA设计基准测试
ResBench: Benchmarking LLM-Generated FPGA Designs with Resource Awareness
作者: Ce Guo, Tong Zhao
发布日期: 3/25/2025
arXiv ID: oai:arXiv.org:2503.08823v2

摘要

arXiv:2503.08823v2 申明类型: replace-cross 摘要:可编程门阵列(FPGAs)在现代硬件设计中得到了广泛应用,然而为FPGA实现编写硬件描述语言(HDL)代码仍然是一个复杂且耗时的任务。大型语言模型(LLMs)已 emerges 为一种有前途的工具,用于生成 HDL 代码,但现有的基于 LLM 的代码生成基准主要侧重于功能正确性,而忽视了硬件资源使用情况。此外,当前的基准提供有限的多样性,并不能充分代表真实的 FPGA 应用范围。为了解决这些不足,我们介绍了 ResBench,这是第一个专注于资源的基准,明确设计用于区分资源优化和不高效的 LLM 生成的 HDL 代码。ResBench 包含来自 12 个类别中的 56 个问题,涵盖了从有限状态机到金融计算的应用。我们的开源评估框架通过生成 Verilog 代码、验证正确性和测量资源使用情况来自动测试 LLM。实验主要分析查找表(LUT)的使用情况,揭示了 LLM 之间的显著差异,展示了 ResBench 识别生成更高效 FPGA 设计模型的能力。