arXiv:2503.22074v1 类别: cross 摘要: 大型语言模型（LLMs）在材料科学等专门的科学领域中显示出巨大的前景，然而，由于数据有限和知识密度高，将它们高效且准确地适应特定领域的知识仍然具有挑战性。我们提出了一种两阶段框架，该框架结合结构化模型压缩与科学微调计划来解决这一挑战。在压缩阶段，我们将LLM的权重矩阵分解为局部低秩的“秩块”，并将这些块以类似潘罗斯的非周期镶嵌模式排列。然后通过谱变换（例如离散余弦变换或傅里叶变换）对每个块进行压缩，并使用基于Kullback-Leibler（KL）散度的对齐损失保留压缩模型表示与原始完整模型表示之间的分布相似性。在适应阶段，使用类似人类的科学阅读协议进一步微调压缩模型：分部分处理技术材料科学文档，并为每部分进行结构化的问答例行程序。这种部分Q&A微调策略提取明确的推理轨迹，并逐步注入领域知识，同时最小化模型的一般语言能力灾难性遗忘。通过平衡高效的压缩与目标化的适应，我们的两阶段方法在数据稀缺条件下使LLMs能够对高价值领域实现精确的专业化。我们展示了一个有原则但探索性的管道，并概述其在推进材料科学知识整合方面的潜力，为未来在综合实证评估方面的进一步工作奠定基础。