自然语言处理 (NLP) 系统正越来越多地采用复杂的模块化管道形式，例如检索增强生成 (RAG)，其中每个模块可能包含一个独立的语言模型 (LM) 和一个相关的提示模板。这些复合系统通常缺乏中间标签或梯度流来优化每个模块，这使得它们的端到端优化具有挑战性。在这里，我们寻求策略来优化这些系统的模块级 LM 权重和相关提示模板，以最大限度地提高下游任务指标。我们首次提出将权重和提示优化策略相结合来优化模块化 LM 管道，通过在两者之间交替，使同一个 LM 自行学习。在使用 mistral-7b、llama-2-7b 和 llama-3-8b 进行多跳问答、数学推理和基于特征的分类的实验中，这些 BetterTogether 策略共同优化了管道的权重和提示，其性能优于单独优化权重和单独优化提示，平均而言，在 LM 和任务上分别提高了 60% 和 6%。BetterTogether 优化器在 DSPy 中发布，网址为 http://dspy.ai。