本文介绍了 Paramanu-Ayn，一个专门针对印度法律案例文档训练的法律语言模型集合。该模型拥有 9700 万个参数，采用的是仅解码器（AR）自回归模型，在单个 GPU 上以 8192 的上下文大小从头开始预训练，仅训练了 185 小时，实现了 41.35 的高效 MFU。我们还开发了一个专门针对法律领域的 BPE 分词器。我们使用困惑度和零样本任务对模型进行了评估：带解释的案例判决预测和摘要式案例总结。在带解释的案例判决预测任务中，Paramanu-Ayn 的测试准确率比 Llama-2 7B 和 Gemini-Pro 高出近 2 个百分点，尽管其规模小了 72 倍。在零样本摘要式总结中，它在 BLEU 和 METEOR 指标上比生成固定长度摘要（5000 个词符）的仅解码器 LLM 高出 10 个百分点以上，在 BERTScore 指标上高出近 4 个百分点。在零样本常识和数学基准测试中，Paramanu-Ayn 表现出色，尽管它只在法律文档上进行训练，但在 AGIEVAL-AQuA-RAT 和 AGIEVAL-SAT-Math 任务中仍然优于 Llama-1、Llama-2 和 Falcon。我们还在 10763 个不同的法律任务上对我们的模型进行了指令微调，包括法律条款生成、法律草案、案例摘要等。Paramanu-Ayn-instruct 模型在清晰度、相关性、完整性和法律推理指标上均获得了 GPT-3.5-Turbo 的 8 分以上。我们发现，我们的模型能够学习起草知识，并能够在有限的指令微调下泛化到法律合同和法律条款的起草。因此，我们得出结论，对于强大的领域专用生成语言模型（如法律），从头开始进行领域专用预训练更加经济高效、环保，并且在与更大模型的竞争中仍然具有优势，甚至优于将 LLM 调整用于法律领域任务。