在嘈杂的中等规模量子（NISQ）时代，一个重大障碍是识别功能性量子电路。这些电路还必须遵守当前量子硬件限制所施加的约束。变分量子算法（VQA）是一类量子经典优化算法，旨在解决目前可用量子设备中的这些挑战。然而，VQA 的整体性能取决于变分电路的初始化策略、电路结构（也称为 ansatz）以及成本函数的配置。着眼于电路结构，在本论文中，我们通过使用强化学习（RL）自动搜索变分电路的最佳结构来提高 VQA 的性能。在论文中，电路的最佳性是通过评估其深度、门的总数和参数以及解决给定问题的准确性来确定的。自动搜索最佳量子电路的任务被称为量子架构搜索 (QAS)。QAS 中的大多数研究主要集中在无噪声场景。然而，噪声对 QAS 的影响仍然没有得到充分的探索。在本论文中，我们通过引入基于张量的量子电路编码、对环境动力学的限制以有效地探索可能的电路的搜索空间、一个用于引导代理找到更短电路的集结方案、具有 ε-贪婪策略的双深度 Q 网络 (DDQN) 来解决这个问题，以获得更好的稳定性。在无噪声和有噪声的量子硬件上的数值实验表明，在处理各种 VQA 时，我们基于 RL 的 QAS 优于现有的 QAS。同时，我们在论文中提出的方法可以很容易地适应解决各种其他 VQA。