LLM2D
ScreenAudit:使用大型语言模型检测移动应用中的屏幕阅读器 accessibility 错误
ScreenAudit: Detecting Screen Reader Accessibility Errors in Mobile Apps Using Large Language Models
作者: Mingyuan Zhong, Ruolin Chen, Xia Chen, James Fogarty, Jacob O. Wobbrock
发布日期: 4/4/2025
arXiv ID: oai:arXiv.org:2504.02110v1

摘要

arXiv:2504.02110v1 安全公告类型:跨平台 摘要:许多移动应用程序不具无障碍性,从而排除了人们对它们潜在利益的享受。现有的基于规则的无障碍检查器旨在通过在开发早期识别错误来减轻这些失败,但它们在检测错误的类型方面受到限制。我们提出了ScreenAudit,这是一个由LLM驱动的系统,旨在遍历移动应用屏幕,提取元数据和转录,并识别现有检查器未能发现的屏幕阅读器无障碍错误。我们招募了六位无障碍专家,包括一位屏幕阅读器用户,对ScreenAudit在14个独特应用屏幕上的报告进行了评估。我们的研究发现,ScreenAudit的平均覆盖率达到了69.2%,而广泛使用的无障碍检查器仅为31.3%。专家反馈表明,与现有检查器相比,ScreenAudit提供了更高质量的反馈,并且在屏幕阅读器无障碍的更多方面提出了更多内容,且ScreenAudit在实际应用场景中会为应用开发者带来好处。