LLM2D
OpenGrok:利用提炼知识和掩码机制增强SNS数据处理
OpenGrok: Enhancing SNS Data Processing with Distilled Knowledge and Mask-like Mechanisms
作者: Lumen AI, Zaozhuang No. 28 Middle School, Shihao Ji, Zihui Song, Fucheng Zhong, Jisen Jia, Zhaobo Wu, Zheyi Cao, Tianhao Xu
发布日期: 2/12/2025
arXiv ID: oai:arXiv.org:2502.07312v1

摘要

arXiv:2502.07312v1 交叉公告类型:novel approach to processing Social Networking Service (SNS) data 摘要:本报告详细介绍了Lumen Labs对处理社交媒体服务(SNS)数据的新型方法。我们利用知识蒸馏,具体来说是一种受到DeepSeek-R1的CoT获取机制启发的简单蒸馏方法,并结合提示工程,从Grok模型中提取有价值的训练数据。然后,这些数据被用于微调一个Phi-3-mini模型,该模型通过一种专门为处理SNS数据的细微差别而设计的类似面罩的机制进行了增强。我们的方法在多个SNS数据处理任务上展示了最先进的(SOTA)性能,超过了现有的模型如Grok、Phi-3和GPT-4。我们提供了关于我们方法的全面分析,包括数学公式、工程细节、消融研究和比较评估。