LLM2D
UNITYAI-GUARD:低资源印度语言中的 toxicity 检测先锋
UNITYAI-GUARD: Pioneering Toxicity Detection Across Low-Resource Indian Languages
作者: Himanshu Beniwal, Reddybathuni Venkat, Rohit Kumar, Birudugadda Srivibhav, Daksh Jain, Pavan Doddi, Eshwar Dhande, Adithya Ananth, Kuldeep, Heer Kubadia, Pratham Sharda, Mayank Singh
发布日期: 4/1/2025
arXiv ID: oai:arXiv.org:2503.23088v1

摘要

arXiv:2503.23088v1 宣传类型:横跨领域 摘要:本文介绍了UnityAI-Guard框架,该框架针对低资源印度语种的二元毒性分类。现有的系统主要针对高资源语言,而UnityAI-Guard通过为各种布拉谟克/印度语系开发最先进的模型来填补这一关键空白。我们的方法在七种语言上取得了令人印象深刻的平均F1分数84.23%,利用了88.8万训练实例和3.5万手动验证的测试实例的数据集。通过为语言多样的地区提供多语言内容审核的进步,UnityAI-Guard还提供了公共API访问以促进更广泛的采用和应用。