算法定价的兴起引发了算法合谋的担忧。我们基于大型语言模型（LLM）进行了算法定价代理的实验。我们发现：(1) 基于LLM的代理擅长定价任务；(2) 在寡头垄断环境下，基于LLM的定价代理会自主合谋，损害消费者利益；(3) LLM指令（“提示”）中看似无害的措辞变化可能会加剧合谋。新颖的离轨分析技术揭示了价格战问题是导致这些现象的原因。我们的结果也适用于拍卖环境。我们的研究结果揭示了未来任何针对基于LLM的定价代理（以及更广泛的黑盒定价代理）的监管所面临的独特挑战。