arXiv:2505.07672v2 宣告类型: replace-cross 摘要: 我们介绍了OnPrem$.$LLM，这是一种基于Python的工具包，用于将大型语言模型（LLMs）应用于离线或受限环境中的敏感、非公开数据。该系统设计用于隐私保护用途，提供了文档处理和存储、检索增强生成（RAG）、信息提取、总结、分类以及最小配置下提示/输出处理的预构建管道。OnPrem$.$LLM 支持多个 LLM 后端——包括 llama$.$cpp、Ollama、vLLM 和 Hugging Face Transformers——支持量化模型、GPU 加速，并且可以无缝切换后端。尽管设计用于完全本地执行，但 OnPrem$.$LLM 也支持在允许的情况下与广泛的云 LLM 提供商集成，从而使性能与数据控制达到平衡。无代码 web 界面增强了非技术人员的访问性。