LLM2D
NSFlow:一种用于神经符号AI的端到端可扩展数据流架构FPGA框架
NSFlow: An End-to-End FPGA Framework with Scalable Dataflow Architecture for Neuro-Symbolic AI
作者: Hanchen Yang, Zishen Wan, Ritik Raj, Joongun Park, Ziwei Li, Ananda Samajdar, Arijit Raychowdhury, Tushar Krishna
发布日期: 4/30/2025
arXiv ID: oai:arXiv.org:2504.19323v2

摘要

arXiv:2504.19323v2 通告类型: 替换-交叉 摘要:神经符号AI(NSAI)是一种新兴范式,它将神经网络与符号推理相结合,以提高AI系统的透明度、推理能力和数据效率。由于NSAI系统在推理任务和人机合作场景中的出色表现,最近它们受到了广泛关注。尽管在算法方面取得了这些进展,但在现有硬件(例如,CPU、GPU、TPU)上执行NSAI任务仍然具有挑战性,因为这些硬件具有异构的计算内核、高内存强度以及独特的内存访问模式。此外,当前的NSAI算法在操作类型和规模上表现出显著差异,这使得它们与现有的机器学习加速器不兼容。这些挑战突显了针对NSAI工作负载设计灵活且多功能加速框架的必要性。在本文中,我们提出了NSFlow,这是一种基于FPGA的加速框架,旨在实现NSAI系统中的高效率、可扩展性和多功能性。NSFlow 配备了设计架构生成器,能够识别工作负载数据依赖关系并创建优化的数据流架构,同时具有可重构阵列,其特征包括灵活的计算单元、可重构的内存以及混合精度能力。在NSAI工作负载上的评估表明,NSFlow 在性能上比 Jetson TX2 快 31 倍,比 GPU 快 2 倍以上,比类似 TPU 的 systolic 数组快 8 倍,比 Xilinx DPU 快 3 倍以上。此外,NSFlow 还展示了增强的可扩展性,当符号工作负载增加 150 倍时,运行时间仅增加了 4 倍。据我们所知,NSFlow 是第一个允许实时通用 NSAI 算法加速的框架,展示了下一代认知系统中具有前景的解决方案。