LLM2D
IL-TUR:印度法律文本理解与推理基准
IL-TUR: Benchmark for Indian Legal Text Understanding and Reasoning
作者: Abhinav Joshi, Shounak Paul, Akshat Sharma, Pawan Goyal, Saptarshi Ghosh, Ashutosh Modi
发布日期: 11/27/2024
arXiv ID: oai:arXiv.org:2407.05399v2

摘要

全球法律系统面临着案件和文件呈指数级增长的困境。迫切需要开发自然语言处理 (NLP) 和机器学习 (ML) 技术来自动处理和理解法律文件,从而简化法律系统。然而,评估和比较专门为法律领域设计的各种 NLP 模型极具挑战性。本文通过提出 IL-TUR:印度法律文本理解与推理基准来应对这一挑战。IL-TUR 包含单语(英语、印地语)和多语(9 种印度语言)特定领域的任务,这些任务从理解和推理印度法律文件的角度出发,处理法律系统的不同方面。我们为每个任务提供了基线模型(包括基于大型语言模型的模型),并概述了模型与真实情况之间的差距。为了促进法律领域的进一步研究,我们创建了一个排行榜(网址:https://exploration-lab.github.io/IL-TUR/),研究界可以在该排行榜上上传和比较法律文本理解系统。