LLM2D
细胞学分类中基础模型微调的探索
Exploring Foundation Models Fine-Tuning for Cytology Classification
作者: Manon Dausort, Tiffanie Godelaine, Maxime Zanella, Karim El Khoury, Isabelle Salmon, Beno\^it Macq
发布日期: 11/25/2024
arXiv ID: oai:arXiv.org:2411.14975v1

摘要

细胞学玻片是癌症诊断和分期必不可少的工具,但其分析耗时且成本高昂。基础模型已展现出在这些任务中提供辅助的巨大潜力。本文探讨了如何将现有基础模型应用于细胞学分类。更具体地说,我们关注低秩自适应,这是一种适用于少样本学习的参数高效微调方法。我们评估了四个细胞学分类数据集上的五个基础模型。我们的结果表明,与仅微调分类器头部相比,使用LoRA微调预训练主干显著提高了模型性能,在简单和复杂的分类任务上都取得了最先进的结果,同时所需数据样本更少。