摘要
人类记忆天生容易遗忘。为了解决这个问题,人们引入了多模态嵌入模型,将各种现实世界数据转化为统一的嵌入空间。这些嵌入可以高效地检索,帮助移动用户回忆过去的信息。然而,随着模型复杂度的增加,其资源需求也随之增长,导致吞吐量下降,计算需求增加,限制了移动设备的实现。本文介绍了 RECALL,一种针对资源受限的移动环境优化的全新设备端多模态嵌入系统。RECALL 通过生成粗粒度嵌入并利用基于查询的过滤来进行精确检索,从而实现高吞吐量、准确的检索。实验结果表明,RECALL 在保持高吞吐量的同时,能够生成高质量的嵌入,并以最小的内存和能量消耗实现无感知运行。