arXiv:2407.10810v2 宣布类型: replace-cross 摘要：人工智能是推动集成电路（IC）制造发展的关键。大型多模态模型（LMMs）的近期突破使我们能够在理解和分析图像及文本方面获得非凡的能力，进而促进智能化制造。利用LMMs的强大功能，我们引入了FabGPT，这是一个针对晶圆缺陷知识查询定制的大型多模态模型。FabGPT 在扫描电子显微镜（SEM）图像中的缺陷检测方面表现出色，并能够进行根本原因分析和提供关于制造过程的专家问答。FabGPT 通过将增强的多模态特征匹配技术自动检测复杂晶圆背景下的细微缺陷，减少手动阈值设置的主观性。此外，提出的调制模块和交互语料训练策略将晶圆缺陷知识嵌入预训练模型中，有效平衡了与缺陷知识相关的问答查询和原始知识之间的关系，并减轻了模态偏差问题。在内部晶圆厂数据上的实验结果显示，FabGPT 在晶圆缺陷检测和知识查询方面取得了显著的性能提升。