LLM2D
零-shot 分类的贝叶斯建模在城市洪水检测中的应用
Bayesian Modeling of Zero-Shot Classifications for Urban Flood Detection
作者: Matt Franchi, Nikhil Garg, Wendy Ju, Emma Pierson
发布日期: 3/27/2025
arXiv ID: oai:arXiv.org:2503.14754v2

摘要

arXiv:2503.14754v2 宣告类型: replace-cross 摘要:来自Street View或仪表盘摄像头收集的街道场景数据集为检测街道洪水等城市物体和事件提供了有望的方法。然而,使用这些数据集的主要挑战在于其缺乏可靠标签:事件类型繁多,许多类型发生的频率很低,而且缺乏事件发生位置的真实度量。在此,我们提出了一种克服这一困难的方法——BayFlood。首先,我们使用预训练的视觉-语言模型(VLM)对事件发生的地点进行零样本分类。其次,我们在VLM分类结果上拟合一个空间贝叶斯模型。零样本方法避免了需要标注大量训练集的需求,而贝叶斯模型则在城市环境中提供了充分的质量标准,提供了不确定性原则性衡量、跨地点平滑处理以及外部数据如雨洪积聚区的整合。我们全面验证了这种两阶段方法,结果表明VLM在多个城市和时间段内提供了强大的零样本洪水信号,贝叶斯模型提高了相对于基准方法的外部样本预测能力,我们推断出的洪水风险与已知的风险外部预测因子相关。在验证了我们的方法后,我们展示了它可以用于改进城市洪水检测:我们的分析揭示了113,738位被现有方法忽略的高洪水风险人群,并识别出现有方法中的人口统计学偏见,同时建议了新的洪水传感器的位置。更广泛地说,我们的结果展示了如何通过贝叶斯建模来零样本LM注释代表了一种有前景的范式,因为这种方法避免了收集大型标注数据集的需求,利用了基础模型的力量,同时提供了贝叶斯模型的表达性和不确定性量化。