工具学习使大型语言模型 (LLM) 能够通过调用工具与外部环境交互，成为缓解其预训练数据固有局限性的有效策略。在这个过程中，工具文档通过为 LLM 提供使用说明起着至关重要的作用，从而促进有效地工具利用。本文着眼于解决 LLM 与外部工具之间理解差距的关键挑战，该挑战源于现有以人为中心的工具文档的不足和不准确。我们提出了一种新颖的框架 DRAFT，旨在通过分析来自 LLM 与外部工具交互的反馈和轨迹来动态地改进工具文档。该方法采用了一种创新的试错方法，包括三个不同的学习阶段：经验收集、从经验中学习和文档重写，以迭代地增强工具文档。通过实施多样性促进探索策略来确保探索多样性，以及工具自适应终止机制来防止过度拟合，同时提高效率，进一步优化了此过程。在多个数据集上的大量实验表明，DRAFT 的迭代式、基于反馈的改进显着提高了文档质量，促使 LLM 更深入地理解和更有效地利用工具。值得注意的是，我们的分析表明，通过我们的方法改进的工具文档表现出强大的跨模型泛化能力。