arXiv:2412.19684v2 宣告类型: 替代 摘要：与多模态大型语言模型（MLLMs）相比，高效的多模态大型语言模型（EMLLMs）减少了模型大小和计算成本，并且通常部署在资源受限的设备上。然而，由于数据隐私问题，现有的开源EMLLMs在预训练过程中很少有访问私人领域特定数据的机会，使得它们难以直接应用于特定设备领域，如某些业务场景。为了弥补这一不足，本文专注于EMLLMs在私人领域的高效适应，具体在两个方面进行：1) 如何减少数据需求，2) 如何避免参数微调。具体而言，我们提出了一个无需微调、适应性强、通用提示优化框架，简称我们的方法（\textit{\ourmethod}），该框架包括两个阶段：1) 预定义提示，基于增强搜索策略，生成提示优化策略树以获取优化先验；2) 提示反射初始化基于优化先验的提示，随后进行自我反思以进一步搜索和优化提示。通过这种方式，\ourmethod优雅地生成处理私人领域特定数据的“理想提示”。需要注意的是，我们的方法不需要参数微调，并且只需要少量数据即可快速适应私人数据的数据分布。在多项任务上的广泛实验表明，与基线方法相比，我们提出的\ourmethod显著提高了效率和性能。