arXiv:2504.16460v1 交叉公告类型 摘要：电信行业的专业词汇和复杂概念为标准自然语言处理模型带来了显著挑战。通用文本嵌入往往无法捕捉到电信特有的语义，从而影响下游任务的性能。我们引入了T-VEC（电信向量模型），这是一种专门为电信领域定制的嵌入模型，通过深度微调实现。由NetoAI开发的T-VEC通过在精心策划的大规模电信特定数据集上使用三元组损失目标来适应最新的gte-Qwen2-1.5B-instruct模型。这个过程涉及到对基模型338层权重的大量修改，确保了广泛的专业知识集成，远超表面的适应技术。我们通过权重差异分析量化了这一深度的变化。一个关键贡献是开发并公开发布了（MIT许可）首个专用的电信特定分词器，增强了对行业术语的处理能力。T-VEC在MTEB平均得分上名列前茅（0.825），与现有模型相比表现优异，并在我们的内部电信特定三元组评估基准上展示了显著优于其他模型（0.9380 vs. 小于0.07）的表现，表明其对领域特异性微妙之处的极佳掌握，这一点通过嵌入分割的改进得到了视觉确认。这项工作将NetoAI置于电信AI创新的前沿，为社区提供了强大、深度适应的开源工具。