摘要
大型语言模型(LLMs)是现代人工智能系统的基石。本文介绍了Juhaina,一个专门为阿拉伯语使用者设计的阿拉伯语-英语双语LLM,旨在与其价值观和偏好相契合。Juhaina天然支持指令跟随、开放式问答、信息提供和文本处理等高级功能。我们的模型包含92.4亿参数,训练时上下文窗口可达8192个token。本文详细阐述了Juhaina的创建过程,并提供了广泛的实证评估。此外,我们指出了广泛采用的Open Arabic LLM Leaderboard(OALL)的局限性,并提出了新的评估基准CamelEval。我们的研究结果表明,Juhaina在生成阿拉伯语的有用响应、提供关于该地区的准确信息以及理解微妙的跨文化方面,超越了Llama和Gemma系列等现有同规模LLMs。我们期望Juhaina能够普及尖端AI技术,通过提供不仅使用其语言而且理解其文化的LLMs,服务于超过4亿阿拉伯语使用者。我们已在Huggingface公开发布所有模型,链接为\url{https://huggingface.co/elmrc}。