大型基础模型，包括大型语言模型（LLMs）、视觉转换器（ViTs）、扩散模型以及基于LLM的多模态模型，正在从训练到部署的整个机器学习生命周期中引发革命性变化。然而，这些模型在多功能性和性能方面的重大进步，伴随着硬件资源方面的巨大成本。为了在可扩展和环境可持续的方式中支持这些大型模型的增长，开发资源高效的策略成为了关注重点。这篇综述深入探讨了这类研究的重要性，考察了算法和系统两个方面。它提供了对现有文献的全面分析和宝贵见解，涵盖了从前沿的模型架构和训练/服务算法到实际系统设计和实现的广泛主题。该综述的目标是提供对当前方法如何应对大型基础模型所带来的资源挑战的全面理解，并有望激发该领域未来的突破。