arXiv:2409.00092v3 宣布类型: 交叉替换 摘要：在传统的创新实践中，概念和知识产权（IP）的生成往往是迭代集成的。这两个过程都需要对先进技术领域知识有复杂的理解。现有的大型语言模型（LLMs），尽管拥有大量的预训练知识，但在创新概念的生成中往往因为缺乏生成所需的特定领域的知识而显得力不从心。为了弥合这一关键差距，我们提出了一种新的知识微调（KFT）框架，以赋予基于LLM的人工智能自主挖掘、理解和应用特定领域知识和概念的能力，从而实现创新生成，即概念和专利生成一起进行。我们提出的PatentGPT结合了知识注入预训练（KPT）、领域特定的监督微调（SFT）和基于人类反馈的强化学习（RLHF）。广泛的评估结果显示，PatentGPT在专利相关的基准测试中显著优于当前最先进的模型。我们的方法不仅为数据驱动的创新提供了新的见解，还为在技术背景下微调LLM开辟了一条新的途径。我们还讨论了未来AI生成发明的管理和政策影响。