LLM2D
Hammer:基于在线学习的高效冷热数据识别方法
Hammer: Towards Efficient Hot-Cold Data Identification via Online Learning
作者: Kai Lu, Siqi Zhao, Jiguang Wan
发布日期: 11/25/2024
arXiv ID: oai:arXiv.org:2411.14759v1

摘要

大型数据和云计算环境中高效管理存储资源需要准确识别数据的“冷”和“热”状态。传统的基于规则的算法和早期人工智能技术等方法往往难以应对动态工作负载,导致精度低、适应性差以及运营开销高。为了解决这些问题,我们提出了一种基于在线学习策略的新颖解决方案。我们的方法能够动态适应不断变化的数据访问模式,从而实现更高的精度和更低的运营成本。使用合成数据集和真实数据集进行的严格测试表明,该方法取得了显著改进,在冷热分类中的准确率达到90%。此外,计算和存储开销也大大降低。