LLM2D
物超所值:云CPU上的向量搜索
Bang for the Buck: Vector Search on Cloud CPUs
作者: Leonardo Kuffo, Peter Boncz
发布日期: 5/13/2025
arXiv ID: oai:arXiv.org:2505.07621v1

摘要

arXiv:2505.07621v1 公告类型:交叉 摘要:向量数据库已经出现,成为一种支持高效查询高维向量的新类型系统。其中许多都将在云上提供其数据库服务。然而,可用的CPU种类繁多,且缺乏针对不同CPU的向量搜索基准测试,使得用户难以选择。在这项研究中,我们展示了云中可用的CPU微架构在向量搜索场景下的表现存在显著差异。例如,在float32向量上的IVF索引中,AMD的Zen4相比Intel的Sapphire Rapids几乎每秒多执行3倍的查询(QPS),但在HNSW索引中,情况则相反。然而,当考虑每美元查询次数(QP$)时,Graviton3对于大多数索引和量化设置来说都是最好的选择,甚至优于Graviton4(表格1)。通过这项工作,我们希望指导用户在部署向量搜索系统时获得最佳的“物有所值”。