arXiv:2409.14784v1 公告类型: 新增 摘要: 随着人工智能的不断发展，它越来越能够仅通过一个大型模型处理广泛的视频分析任务。关键的基础技术之一是分割一切模型（SAM），它允许根据用户的输入提示即时确定视频分析任务。然而，在视频分析应用中实现实时响应对于用户体验至关重要，因为边缘设备的通信和计算资源有限，尤其是在用户可能通过添加或调整提示持续交互的情况下。本文提出了SAMEdge，一种新颖的边缘云计算架构，旨在支持边缘用户的SAM计算。SAMEdge在边缘和云端集成了新模块，以在延迟约束下最大化视觉提示和图像提示输入的分析准确性。它通过提供视觉提示转换算法和图像编码的高效工作负载分区来解决与提示编码和图像编码相关的资源挑战。SAMEdge通过扩展Meta AI的开源SAM项目实现。我们通过一个视觉导览应用的案例研究展示了SAMEdge的实际应用。我们的评估表明，SAMEdge在不同网络带宽和各种提示下显著提高了视频分析应用的准确性。