LLM2D
开拓面向非规则和非对齐卫星图像时间序列的基础模型之路
Paving the way toward foundation models for irregular and unaligned Satellite Image Time Series
作者: Iris Dumeur (CESBIO), Silvia Valero (CESBIO), Jordi Inglada (CESBIO)
发布日期: 10/1/2024
arXiv ID: oai:arXiv.org:2407.08448v2

摘要

尽管最近提出了几种用于卫星遥感影像的基础模型,但它们无法解决实际/运营应用中的主要挑战。事实上,不考虑数据的频谱、空间和时间维度以及不规则或未对齐的时间采样的嵌入对于大多数现实世界应用来说几乎没有用处。因此,我们提出了一种对齐的 Sits 编码器 (ALISE),这是一种新方法,它利用不规则和未对齐的 SITS 的空间、频谱和时间维度,同时生成对齐的潜在表示。与目前可用于 SITS 的 SSL 模型不同,ALISE 结合了灵活的查询机制,将 SITS 投影到一个共同的学习时间投影空间中。此外,由于采用了多视图框架,我们探索了将实例判别与掩蔽自动编码任务集成到 SITS 中。所生成表示的质量通过三个下游任务进行评估:作物分割 (PASTIS)、土地覆盖分割 (MultiSenGE) 和一个新的作物变化检测数据集。此外,变化检测任务是在无监督的情况下进行的。结果表明,使用对齐的表示比以前的 SSL 方法更有效,适用于线性探测分割任务。