提供反馈被广泛认为是提高学生写作技能的关键。语言模型 (LM) 的最新进展使得自动生成可操作且与人类指定属性高度一致的反馈成为可能。然而，这些模型生成的反馈是否真正有效地提高了学生修改的质量尚不清楚。此外，由于缺乏关于哪些具体属性可以提高修改性能的共识，因此以一组精确的指令提示 LM 生成反馈并非易事。为了解决这些挑战，我们提出了 PROF，它通过从 LM 模拟的学生修改中学习来生成反馈。PROF 的目标是通过直接最大化学生整体修改性能的有效性（由 LM 模拟）来迭代优化反馈生成器。我们重点关注一篇经济学论文作业，通过实证检验了 PROF 的有效性，观察到我们的方法不仅在提高学生写作的有效性方面超过了各种基线方法，而且还展现出增强的教学价值，即使它没有明确为此方面进行训练。