尽管大型语言模型（LLM）取得了重大进展，增强了机器人代理对自然语言（NL）命令的理解和执行能力，但确保代理遵守用户指定的约束仍然具有挑战性，特别是对于复杂命令和长时程任务。为了解决这一挑战，我们提出了三个关键见解：等价投票、约束解码和领域特定微调，这些见解显著增强了 LLM 规划器处理复杂任务的能力。等价投票通过从 NL 命令生成和采样多个线性时序逻辑（LTL）公式，对等价 LTL 公式进行分组，并选择多数组公式作为最终 LTL 公式来确保一致性。然后，约束解码使用生成的 LTL 公式强制执行计划的自回归推理，确保生成的计划符合 LTL。领域特定微调定制 LLM 以在特定任务领域内生成安全高效的计划。我们的方法，安全高效 LLM 规划器（SELP），将这些见解相结合，创建 LLM 规划器以生成符合用户命令且置信度高的计划。我们证明了 SELP 在不同机器人代理和任务（包括无人机导航和机器人操作）中的有效性和通用性。对于无人机导航任务，SELP 在安全率（即完成符合 NL 命令的任务）方面比最先进的规划器高出 10.8%，在计划效率方面高出 19.8%。对于机器人操作任务，SELP 在安全率方面提高了 20.4%。我们用于评估 NL 到 LTL 和机器人任务规划的数据集将在 github.com/lt-asset/selp 中发布。