arXiv:2505.05946v1 类型: cross 摘要：本文描述了一项实验，该实验从持续学习的角度出发，对包含10%立陶宛语成分的CulturaX数据集进行Gemma2 20亿参数的大语言模型（LLM）的自回归预训练。我们对模型的所有参数应用弹性权重巩固（EWC），并研究了由Arc、Belebele、Gsm8K、Hellaswag、MMLU、TruthfulQA和Winogrande（均包括英语和立陶宛语版本）集合组成的语言理解基准测试以及困惑度基准测试。实验结果表明，EWC正则化不仅可以缓解灾难性遗忘效应，还有助于使用LLM学习新任务。