arXiv:2409.19058v2 宣告类型: replace-cross 摘要：预报天气和气候事件对于采取适当的措施以减轻环境危害和减少损失至关重要。然而，现有的环境预报研究主要集中在预测数值气象变量（例如温度）上，忽略了将这些变量转化为可操作的事件文本叙述及其后果。为了弥合这一差距，我们提出了一项新的任务——天气和气候事件预报（WCEF），该任务利用数值气象栅格数据和事件文本数据来预测天气和气候事件。由于多模态数据对齐的困难以及缺乏监督数据集，这项任务的实现颇具挑战性。为了应对这些挑战，我们提出了CLLMate，这是首个针对WCEF任务的多模态数据集，使用了26,156篇与ERA5再分析数据对齐的环境新闻文章。我们系统地在CLLMate上对23个现有的MLLMs进行了基准测试，包括内部源代码、开源和我们的微调模型。我们的实验揭示了现有MLLMs的优势和局限性，以及CLLMate在WCEF任务训练和基准测试方面的价值。