在溃疡性结肠炎 (UC) 的内窥镜视频中准确评估疾病严重程度对于评估临床试验中药物疗效至关重要。严重程度通常通过梅奥内窥镜亚评分 (MES) 和溃疡性结肠炎内窥镜严重程度指数 (UCEIS) 评分来衡量。然而，专家 MES/UCEIS 标注耗时且容易出现评分者间差异，这些问题可以通过自动化来解决。由于临床试验中视频级标签的普遍存在，使用帧级标签的自动化尝试在完全监督的解决方案中面临挑战。基于 CNN 的弱监督模型 (WSL) 采用端到端 (e2e) 训练，缺乏对新疾病评分的泛化能力，并且忽略了对准确评分至关重要的时空信息。为了解决这些限制，我们提出了“Arges”，这是一个深度学习框架，它利用具有位置编码的 Transformer 来整合来自帧特征的时空信息，以估计内窥镜视频中的疾病严重程度评分。提取的特征来自基础模型 (ArgesFM)，该模型在来自多个临床试验的大型多样化数据集 (6100 万帧，3927 个视频) 上进行预训练。我们评估了四个 UC 疾病严重程度评分，包括 MES 和三个 UCEIS 组成部分评分。测试集评估表明，与最先进的方法相比，F1 分数显着提高，MES 提高了 4.1%，三个 UCEIS 组成部分评分分别提高了 18.8%、6.6% 和 3.8%。对以前未见过的临床试验数据的预验证进一步证明了该模型的成功泛化。