arXiv:2502.10631v1 宣告类型: cross 摘要：大型语言模型（LLMs）采用三种流行的训练方法：掩码语言模型（MLM）、因果语言模型（CLM）和序列到序列模型（seq2seq）。然而，每种方法都有其优缺点，并在处理需要可控和双向生成的具体任务时面临挑战，例如药物优化。为了解决这一挑战，我们受到生物生长和进化过程中序列的扩展、缩小和突变过程的启发，引入了ControllableGPT。这一举措代表了首次尝试将MLM、CLM和seq2seq的优点结合起来，形成一个统一且可控的GPT框架。它允许对序列中特定位置和范围进行精确管理，使其在选择或随机长度上进行扩展、缩小或突变，同时保持任何指定位置或子序列的完整性。在本文中，我们从头开始为药物优化设计了ControllableGPT，这包括提出因果掩码序列到序列（CMS）目标、开发训练语料库、引入新的预训练方法以及设计独特的生成过程。我们通过在病毒和癌症基准测试中的药物优化任务中进行实验，展示了ControllableGPT的有效性和可控性，并超过了竞争对手的基础模型。