LLM2D
电商领域图像嵌入的benchmark测试:评估即用型基础模型、微调策略及实际权衡
Benchmarking Image Embeddings for E-Commerce: Evaluating Off-the Shelf Foundation Models, Fine-Tuning Strategies and Practical Trade-offs
作者: Urszula Czerwinska, Cenk Bircanoglu, Jeremy Chamoux
发布日期: 4/11/2025
arXiv ID: oai:arXiv.org:2504.07567v1

摘要

arXiv:2504.07567v1 交叉类型: cross 摘要: 我们在电子商务中对基础模型的图像嵌入进行基准测试,评估其在实际应用中的适用性。我们的研究涵盖了通过监督学习、半监督学习和文本图像对比学习训练的预训练卷积和变换模型的嵌入。我们评估了六个多样化电子商务数据集上的全微调和迁移学习(顶端微调):时尚、消费品、汽车、食品和零售。结果显示,全微调通常表现优异,而文本图像和半监督嵌入在较少的训练下可以达到类似的表现。虽然监督嵌入在不同架构上保持稳定,但自监督和对比学习嵌入差异显著,常常可以从顶端微调中受益。顶端微调作为一种减少计算成本的高效替代方案浮现出来。我们还探讨了交叉微调,指出其影响取决于数据集的特性。我们的研究结果提供了嵌入选择和微调策略的实际指南,平衡了效率和性能。