LLM2D
RoMath:罗马尼亚语数学推理基准
RoMath: A Mathematical Reasoning Benchmark in Romanian
发布日期: 9/23/2024
arXiv ID: oai:arXiv.org:2409.11074v2

摘要

数学长期以来通过自然语言传达,主要是为了人类理解。随着机械化数学和证明助手的兴起,理解非正式数学文本的需求日益增长,然而大多数现有基准仅关注英语,忽视了其他语言。本文介绍了RoMath,一个罗马尼亚数学推理基准套件,包含三个数据集:RoMath-Baccalaureate、RoMath-Competitions和RoMath-Synthetic,涵盖了广泛的数学领域和难度级别,旨在改进非英语语言模型并促进多语言AI的发展。通过聚焦于罗马尼亚语,一种资源匮乏且具有独特语言特征的语言,RoMath解决了以英语为中心的模型的局限性,并强调了超越简单自动翻译的专用资源的需求。我们基准测试了几个开放权重语言模型,突出了为弱势语言创建资源的重要性。我们公开了代码和数据集。