arXiv:2409.00092v2 宣告类型: 替换交叉 摘要：在传统的创新实践中，概念和知识产权的生成往往是迭代集成的。这两个过程都要求对先进的技术领域知识有复杂而深刻的理解。尽管现有的大型语言模型（LLMs）具有大量的预训练知识，但在创新概念生成方面往往由于缺乏生成所必需的专业知识而表现不佳。为了弥合这一关键缺口，我们提出了一种新颖的知识微调（KFT）框架，以赋予基于LLM的AI自主挖掘、理解和应用特定领域知识和概念的能力，即概念和专利生成。我们提出的PatentGPT集成了知识注入预训练（KPT）、特定领域的监督微调（SFT）以及基于人类反馈的强化学习（RLHF）。广泛的评估表明，PatentGPT在专利相关的基准测试中显著优于最先进的模型。我们的方法不仅为数据驱动的创新提供了新的见解，还为技术背景下微调LLM开辟了一条新途径。我们还讨论了未来AI生成发明的管理及政策含义。